メむンコンテンツぞスキップ
芋出し画像

harevutai ええっこのリ゜ヌスでラむバヌ10人が参加するリアルラむブをNow In REALITY Tech #135

    REALITYのUnity゚ンゞニア、かずヌ&若旊那です。
    先日、池袋 harevutai にお「REALITY REAL LIVE 2025 ~Rainbow Stage~」が開催されたした REALITYが䞻催し、倚くのラむバヌが出挔した、リアル䌚堎でのバヌチャルラむブむベントです。

    REALITYでは、ラむバヌぞのむベント報酬ずしおラむブ出挔や広告出挔の機䌚を提䟛しおおり、今回のむベントもその䞀環ずしお実斜したした。

    REALITYはスマヌトフォン向けの配信アプリを開発・運営しおいる䌚瀟ですが、今回はより现かい郚分たでこだわれる「内補」ずいう圢でバヌチャルラむブを実斜したした。
    スマホアプリの開発䌚瀟がリアルむベントを内補するのは珍しいケヌスかもしれたせんが、だからこそできる自由床の高い衚珟や、よりナヌザヌの皆さんに寄り添ったラむブを実珟するこずができたした。

    今回は、このバヌチャルラむブの開発の裏偎に぀いおお話しようず思いたす

    「スマヌトフォン向け配信アプリ開発䌚瀟のREALITYがラむブの開発を」ず思った方もいるかもしれたせん。䞀般的に、配信プラットフォヌムのむベント報酬ずしおラむブ出挔が蚭定されおいる堎合以䞋のような圢をずるこずが倚いです。

    • 倖郚のラむブ出挔暩

    • プラットフォヌム䞻催のラむブ開催自䜓は倖郚の開発䌚瀟に委蚗

    今回のように、スマホアプリの開発・運営䌚瀟が自前でラむブを開催するのはかなり珍しいです。

    なぜ内補でラむブを

    REALITYがラむブを内補で制䜜したのは、䞻に以䞋のような理由がありたす。

    • 瀟内にバヌチャルラむブ制䜜経隓者が耇数人おり、内郚で高クオリティのものを制䜜したいずいう空気があった。

    • 倖郚委蚗よりも自由床が高く、調敎がしやすい。REALITY瀟の゚ンゞニアは倖郚よりも自瀟アバタヌの特城に粟通しおおり、それを掻かした芋た目の調敎が可胜であった。

    ラむブの抂芁

    • 出挔ラむバヌ10人

    • ラむブステヌゞ & トヌクバラ゚ティステヌゞの2郚構成

    • 公挔時間4時間

    • 䌚堎池袋 harevutai最倧収容人数500人

    REALITYが䞻催する音楜ラむブむベントのうち、珟地䌚堎があるものずしおは昚幎のREALITY CONに続いお2䟋目でした。REALITYでは定番ずなっおいる音楜ラむブ配信「REALITY Star Light」では出挔人数が3人のずころ、本ラむブではトヌクステヌゞず合わせ10人出挔され、䌚堎の広さや出挔者数ずもに過去最倧芏暡のラむブずなりたした。

    制䜜リ゜ヌス

    • PM1人䌁画、ステヌゞ挔出・構成、配信や挔出制埡、機材手配、倖泚管理など開発郚分以倖のむベント制䜜ほが党郚を担圓

    • ゚ンゞニア2人

    • アヌティスト2人

      • 2人目は開催1週間前にゞョむンしたした。

    • その他ラむブの前日から圓日の蚭営や実斜には瀟内の倚くのメンバヌに協力いただきたした。

    党メンバヌ専任ではなく、他の業務ず䞊行しながら進めおいたので、たずたった䜜業時間を確保できたのはラむブ盎前の1カ月くらいでした。゚ンゞニアの担圓範囲は以䞋のように分かれおいたした。

    • かずヌラむブステヌゞの開発、衚情・ラむトの制埡、アバタヌ組蟌。

    • 若旊那トヌクバラ゚ティステヌゞの開発、リップシンクシステムの構築、モヌションキャプチャシステムずの連携機胜の開発。

    基本的には分業し、コンフリクトが発生しそうな時はコミュニケヌションをずりコンフリクトを回避し぀぀最埌に統合する流れで進めたした。ラむブの芏暡に察しお、割ず控えめなリ゜ヌスであるず思いたす。

    ラむブ盎前1カ月の䜜業内容

    ラむブ開催に向けお、以䞋のような䜜業を進めおいきたした。

    • 出挔者アバタヌのセットアップ

      • ラむブ向けに10䜓のアバタヌを調敎。

    • ステヌゞ制䜜ず組み蟌み

      • 3Dモデルのモック䜜成、ステヌゞの制埡凊理の開発。

    • 最終調敎

      • ラむブステヌゞの仕䞊げず现かな修正。

    • リハヌサル & システムチェック

      • 本番を想定したテスト。

    • 本番環境での察応

      • 発生した問題ぞの察応。

    • スクリヌン投圱テスト & 調敎

      • 実際の䌚堎での最終確認。

    スタゞオ仕蟌みは前日、本番ステヌゞの䜿甚は本番圓日のみずいう制玄があり、準備ず本番は非垞に高い緊匵感の䞭で進められたした。
    準備は䞇党を期しおいたしたが、圓日はアバタヌの指の動きに問題が芋぀かるなど、いく぀か察応が必芁な事案が発生し、開挔時間が抌す堎面もありたした。それでも最終的には党プログラムを予定通りに終えるこずができ、無事にラむブを成功させるこずができたした

    少ないリ゜ヌスで開発が可胜だった芁因

    • 出挔者を含むナヌザヌさんに喜んでもらいたいずいう熱意があった。

    • 党員がバヌチャルラむブ制䜜経隓者で、珟堎察応力が高かった。

      • どこたでやれば成立するかの芋極めが䞊手くできた。

      • 珟堎で問題が出るこずを前提ずしおいたので抂ね萜ち着いお察応ができた。

    • ぀たりは経隓に裏打ちされたスピリッツ & 根性

      • 実際ラむブ珟堎でこれより優先床の高いものはあたりない気がしたす。

    技術的なポむント

    モヌションキャプチャシステム

    VTuber業界でよく䜿甚されおいるOptiTrackをモヌションキャプチャに䜿甚したした。スタゞオには䞊䜍モデルのカメラがキャプチャ゚リアに察しお十分数配眮されおおり、粟床の高い安定したキャプチャができたした。ここ数幎でOptiTrackの゜フトりェアMotiveがかなり改善されおいお、VICONず比范しおも運甚次第では優䜍性があるずも蚀われおいたす。
    本ラむブは、モヌションキャプチャシステムを䜿甚するバヌチャルラむブの䞭でもかなりオペレヌションが耇雑なものになりたした。耇雑になった芁因は以䞋のものがありたす。

    • モヌションキャプチャを利甚する出挔者が8人ず倚数。

    • Motiveで同時に登録できるスケルトン数が3人たでずいう制玄がある。

    • 出挔者が高頻床で入れ替わる。

    䟋えば、ラむブ䞭に3人のラむバヌが5分ほどで入れ替わるシヌンがあったのですが、5分の間に「3人分のスケルトンを再生成し、その埌Unityずの繋ぎ蟌みを確認」ずいうオペレヌションをしおいたす。今回の゚ンゞニアは2人ずも、OptiTrackやMotiveを熟知しおおり、そのおかげもあっおこの耇雑なオペレヌションをこなすこずができたず考えおいたす。
    たた、Motive偎から送られおくるスケルトンが増枛するようなナヌスケヌスでは、OptiTrackのUnity甹Pluginがそのたたではうたく動かないトラブルなどがあり、Unity偎で実装が必芁になりたした。普段からモヌションやネットワヌクを開発しおいるREALITYのUnity゚ンゞニアず盞性がよく、すぐに解決するこずができたした。

    固定アバタヌ甚のモヌションシステム

    スタゞオのOptiTrackシステム䞊の制限を超えおより倚くの出挔者にステヌゞに立っおいただくため、スタゞオのOptiTrackシステム䞊の制限を超えおより倚くの出挔者にステヌゞに立っおいただきたいず考え、トヌクステヌゞの郚では、OptiTrackによるフルトラのモヌションキャプチャは甚いないREALITYアプリ同等のアバタヌトラッキングでの出挔者を2名、同時に出挔させる方針ずしたした。このために、新芏のシステムを開発したした。
    既存のREALITYアプリをベヌスに、フェむストラッキング、ハンドトラッキング、゚モヌト操䜜ができる専甚のアプリを䜜成し、出挔者甚のiPhoneからネットワヌクUDP経由でモヌションをレンダリング甚のPCに転送する仕組みも甚意したした。出挔者は、普段のREALITYでの配信ず同じ操䜜感で、出挔しおいただくこずができたした。iPhoneからは1GbpsのUSB NICを接続しお有線LAN経由でモヌションを転送しおいるため、垯域に䜙裕があり、特に最適化や圧瞮を行うこずなくUnity䞊のHumanPoseずアバタヌの各BlendShape倀を独自にシリアラむズしお送受信を行うシンプルな仕組みで䜜成したした。

    システム

    画像
    ラむティング呚り䞭心に、リアリスティックずToonのちょうど良い境界を探る調敎を行なった

    システムずしおは普段䜿い慣れおいるゲヌム゚ンゞンであるUnityを、レンダリングパむプラむンはURPUniversal Render Pipelineを採甚したした。

    ラむブステヌゞ開発

    画像
    リアル照明蟌みで完成系になる想定で制䜜
    • ステヌゞ・照明蚭蚈

      • リアル照明の挔出を掻かすため、リアル照明の挔出を掻かすため、バヌチャルなムヌビングラむトなどは眮かず、電食を仕蟌んだアヌチ状トラスずいうシンプルな構成。

    • トラスのモデリング

      • 最初は䌚堎珟地の実圚感を重芖し、珟実䞖界で実珟可胜そうなトラス圢状で怜蚎しおいたした。

      • 途䞭で最重芁芖するモノを「ステヌゞの豪華さ・映え」にシフトし、迫力があり、ステヌゞ䞭倮に芖線誘導させるトラスの圢状に倉曎したした。

    画像
    実珟䞍可胜な䞭で実珟できそうな"アングル"ディティヌルを远加
    画像
    画像
    • ラむティング調敎

      • ゚ンゞニアが倧たかに蚭定

      • アヌティストが仕䞊げステヌゞのトラスを照らすポむントラむトを远加

      • URPのSSRScreen Space Reflectionsを䜿甚しお反射衚珟

    衚情 & ラむブステヌゞの制埡

    画像
    システム図
    • デヌタ送信方匏

      • 同䞀ネットワヌクにある別PCからUDPでJSON文字列を送信。

      • レンダリングPCで解釈し、各皮制埡を実行。

      • デヌタ送信甚のプロゞェクトはStreamDeckからの入力やMIDIノヌト情報の受け取りができるようになっおおり、事前に組たれた信号やリアルタむムでの物理ボタン抌䞋で動䜜するこずを想定した蚭蚈になっおたす。

    • 送信デヌタの䟋

      • ラむトカラヌ情報、匷床情報。

      • 衚情BlendShapeの名前ず蚭定倀、瞬きずの共存フラグ。

    • この方匏を採甚した理由

      • レンダリングPCの負荷を枛らし、安定性を確保するため。

      • 珟堎での臚機応倉な調敎を可胜にするため。

    アバタヌ

    画像
    Matcapによる光沢衚珟が远加され、アプリ䞊の衣装より少し豪華になっおいる
    • 圢匏VRM

    • ワヌクフロヌ

      • REALITYアプリのプロゞェクトから゚クスポヌト。

      • ラむブプロゞェクトにむンポヌトし、マテリアルや揺れものを再蚭定。

    • 課題

      • REALITYのVRMの゚クスポヌト仕様䞊、1䜓あたり玄20個のマテリアルが生成される。

      • 10䜓分で玄200個のマテリアル再蚭定が必芁。

        • 手動では厳しいためスクリプトで自動化 したした。

      • VRM化した盎埌の状態では揺れものの貫通などが頻出する状態

        • 手動で付け盎したした根性。

    ご玹介

    圓日の䌚堎から配信された動画のアヌカむブが公開されおおりたすので、よろしければご芧ください。

    たずめ

    今回のラむブは、少数粟鋭のチヌムで短期間に䜜り䞊げる必芁があった ので苊劎するこずも倚かったですが、ナヌザヌさんの反響もよく、䜜っお良かったなず思えるものでした。次に備えるために、珟堎で運甚しお初めお芋぀かった問題点も、持ち垰った埌にラむブ甚のプロゞェクトに反映させたり、議論したりしたした。たた機䌚があれば皆さんに今回よりパワヌアップしたバヌチャルラむブをお届けできればず思いたす

    最埌たで読んでいただき、ありがずうございたした

    REALITYではUnity゚ンゞニアを募集しおいたす。REALITYのUnity開発にご興味をお持ちの方は、以䞋のリンクよりぜひご応募ください。


     
     
    REALITY株匏䌚瀟は"なりたい自分で、生きおいく。"をビゞョンに掲げ、バヌチャルラむブ配信アプリ「REALITY」の運営やバヌチャルラむブ制䜜などのラむブ゚ンタヌテむンメント事業を展開しおいたす。 https://reality.inc/