【論文要約】 動画世界モデルのための潜在空間メモリ

動画世界モデルのメモリを改善した論文です。３D空間を動き回ることが可能な世界モデルでは、空間の情報を覚えておくことが重要です。そうでないと、物体の位置が保存されず、一貫した空間として描画することができません。

既存の空間メモリと欠点

既存研究ではこの空間メモリをRGBの点群として扱っていました。３D空間に点群を配置して、RGBの値を保存します。生成されたRGB画像からデプスを推定して、３Dの位置に対応するRGBを記録します。これで空間の情報は保存できるのですが、動画生成時に無駄な変換が入ることが欠点でした。

既存の空間メモリ
latent→RGB点群（空間メモリ）→ラスタライズされた画像→latent

上のように、RGB点群を一度画像にラスタライズして、VAEでlatentに変換する必要がありました。これは明らかに無駄です。

提案手法の空間メモリ

そこで提案手法（Mirage）では、最初からlatentを3D空間に保存することにしました。画像から推定したデプスを使って、latentの各セルを3D座標へ逆投影します。そして（3D座標、48次元のlatent feature）を空間メモリとして保存します。これにより、以下のようにRGBへの変換をスキップすることができます。

提案手法の空間メモリ
latent→3Dのlatentメモリ（空間メモリ）→latent

latentはVAEによって空間的に圧縮されているため、RGB画像よりも空間解像度が低く、空間メモリに保存する点も大幅に減ります。RGB空間では704x1280の解像度に対応する点群を扱うのに対し、latentでは44x80の空間グリッドで扱えます。一方で各点にはRGBの値ではなく、高次元のlatent featureを保持できます。

結果として最大で10.57倍の高速化を達成しました。さらに空間メモリのためのGPUメモリ使用量は最大で55分の1になりました。潜在空間だけで処理する設計変更によって、非常に大きな効率化を達成しています。

生成された動画の品質も向上しています。WorldScoreではMirageが平均 70.36 で、比較対象中トップです。RGB 空間メモリを持つSpatiaは 69.73 でした。

なぜ品質が向上するのでしょうか？　latentのまま記憶することで、テクスチャや局所構造、物体の特徴などの生成モデルが利用しやすい情報が埋め込まれているためです。RGBにしてしまうと、それらの特徴表現を直接保持できなくなります。さらにRGBへデコードして、再びVAEでlatentへ戻すことで、再構成誤差も加わってしまうのです。

提案手法の欠点

著者らは提案手法（Mirage）の欠点として、動的な物体を空間メモリで扱えない点を挙げています。動的な物体は、長期的な空間メモリへの保存対象から除外しています。提案手法では、動き回る物体の状態を長期的に記憶する仕組みはありません。個人的な感想としては、動き回るものは別にオブジェクトごとに（latent、位置・状態）を追跡する、という方法で扱えるのではないかと思いました。

感想

最近のLLMの潜在推論にも似たような設計思想を感じました。人間が確認するためのテキストやRGBに一旦戻すのではなく、モデルが扱いやすい内部表現（潜在表現）のまま処理を完結したほうが効率が上がる、という方向性と共通しているように思いました。人間が直接解釈できる表現を経由する段階がどんどんスキップされていき、効率的になる一方で、AIはAI同士の世界で完結してしまいそうで、SF的な怖さがあると思いました。