メインコンテンツへスキップ
見出し画像

『恐竜返還プロトコル』制作記録 #01|小説をAIでアニメ化する。MiniMax H3と制作環境の話

    こんにちは。AIアニメ研究所です。

    このnoteでは、オリジナル作品『恐竜返還プロトコル』のAIアニメ化に向けた制作過程を記録していきます。

    第1回は、作品の内容よりも、どんな環境で、どんなAIを使ってアニメを制作しているのか、というお話です。

    AIによる動画生成は、この数年で驚くほど進歩しました。

    少し前までは、数秒の映像を作るだけでも大変だったのに、今では人物に台詞を喋らせたり、歌わせたり、複数のカットをつないで一つのシーンを作ったりできるようになっています。

    とはいえ、アニメを一本作るとなると、話は別です。

    キャラクターの顔を維持する。衣装を統一する。台詞に口を合わせる。前のカットと次のカットで人物の位置関係を保つ。

    実際に制作してみると、こうした当たり前のことが、生成AIにとってはまだまだ難しいのだと実感します。

    今回は、そんな制作の裏側を少し紹介します。

    1. 原作小説『恐竜返還プロトコル』について

    『恐竜返還プロトコル』は、もともと小説として執筆しているオリジナル作品です。

    現在、小説投稿サイト「小説家になろう」にて公開しています。

    原作小説はこちら

    https://ncode.syosetu.com/n6178ms/

    現代の日本に突如として巨大な構造物が降下し、そこから絶滅したはずの恐竜たちが現れる。

    恐竜は蘇ったのではない。

    地球へ返されたのだ。

    この物語を、生成AIを活用してアニメ化することにしました。

    目指しているのは、AIに適当な映像を作らせてつなぎ合わせることではありません。

    原作小説をもとに、脚本、キャラクター、演出、音声、映像、音楽を組み立て、一つのアニメ作品として完成させることです。

    映像の方向性は、2Dセミリアル調のアニメーション。

    従来であれば、多くの人員や制作費が必要だったアニメ制作に、個人規模でどこまで挑戦できるのか。

    それも、このプロジェクトの大きなテーマです。

    2. 制作環境は、普通の自作PC

    まず、制作に使用しているパソコンの構成から。

    パーツ構成GPUNVIDIA RTX 4070 Ti SUPERVRAM16GBCPUAMD Ryzen 9 3950Xメモリ32GBOSWindows動画生成環境ComfyUI

    最新の業務用GPUや、何百万円もするワークステーションを使っているわけではありません。

    GPUのVRAMは16GBです。

    最近の動画生成AIには、モデルだけで数十GBというものも珍しくありません。

    そのため、モデルの量子化やCPUへのオフロードなどを活用しながら、手元の環境で動かしています。

    もちろん、生成速度には限界があります。

    十数秒の動画を作るために、十数分から何十分も待つことがあります。

    しかも、一度で思いどおりの映像が出るとは限りません。

    人物の顔が変わったり、立ち位置が入れ替わったり、余計な動作が入ったり。

    そうした問題を修正しながら、少しずつ映像を組み立てています。

    3. 映像生成の中心はMiniMax H3の「New Music Video」

    今回のアニメ制作で中心的に使用しているのが、MiniMax H3の「New Music Video」ワークフローです。

    ComfyUI上に環境を構築し、ローカルで動かしています。

    名前のとおり、もともとは音楽と映像を組み合わせるためのワークフローですが、これを台詞のあるアニメ制作に応用しています。

    音楽MVとアニメには、意外な共通点があります。

    歌唱に合わせて人物の口を動かすことと、台詞に合わせてキャラクターの口を動かすことです。

    そこで、音楽の代わりに台詞の音声ファイルを入力し、その音声に合わせて人物の動きや表情を生成させています。

    画像
    MiniMax H3「New Music Video」のワークフロー全体図。複数の参照画像、台詞音声、CLIPごとの演出指示を組み合わせ、ローカル環境でアニメ映像を生成しています。

    実際に使用しているMiniMax H3のNew Music Videoワークフロー。複数の参照画像と音声を組み合わせ、各CLIPの映像を生成しています。

    15秒の映像を作るということ

    制作では、長いシーンを一度に生成するのではなく、短いカットに分割しています。

    通常は14〜15秒程度を一つの生成単位とし、24fpsで制作しています。

    例えば、第1話の冒頭に登場する大学の食堂。

    主人公と友人が並んで座り、会話するシーンです。

    一見すると簡単そうですが、二人の位置関係、視線、表情、発話のタイミングを維持しなければなりません。

    前のカットでは隣に座っていた友人が、次のカットでは向かい側に座っている。

    AI動画では、そんなことも起こります。

    だからこそ、カメラの位置や人物の動作を、カットごとに細かく指定する必要があります。

    生成AIに任せる部分と、人間が決めなければならない部分。

    その境界を探ることも、制作の大きなテーマになっています。

    4. 音声は先に作る。台詞に合わせて映像を生成する

    台詞のあるシーンでは、映像より先に音声を用意します。

    音声生成にはTTS(Text-to-Speech)を使用しています。

    文字から音声を生成する技術です。

    今回の制作では、Easy-Irodori-TTSも試しています。

    ただし、同じキャラクターの声を毎回完全に維持するのは、まだ簡単ではありません。

    同じ設定で生成しても、声質や話し方が変わることがあります。

    アニメでは、主人公が毎回違う声になってしまうわけにはいきません。

    このあたりは、今後も改善していきたい部分です。

    New Music Videoを台詞のリップシンクに使う

    完成した台詞音声をH3へ渡し、発話タイミングに合わせて人物の口を動かします。

    例えば、主人公が3秒間喋り、友人がそれに答える。

    それぞれの発話時間を指定し、喋っている人物と、それを聞いている人物の動作を個別に指示します。

    画像
    MiniMax H3「New Music Video」の入力・制御部分。キャラクターや背景の参照画像、台詞音声、CLIPごとのプロンプトを設定し、人物の動作やリップシンクを制御しています。

    New Music Videoの入力部分。キャラクターや背景の参照画像、台詞音声、CLIPごとの演出指示を設定します。

    音声を渡すだけで、すべてが正しく生成されるわけではありません。

    喋っていない人物の口が動いてしまったり、人物の位置関係が変わってしまったりすることもあります。

    また、台詞のない時間にキャラクターが不自然に口を動かすこともあります。

    そのため、誰が、いつ、何をしているのかを、できるだけ明確に指定するようにしています。

    映像の生成時点で台詞の長さが決まっているため、キャラクターの動作やカメラワークも、音声の尺を基準に設計できます。

    これは、New Music Videoをアニメ制作に応用する大きな利点だと感じています。

    5. 意外な難関、動画のアップスケール問題

    動画を生成できれば、それで完成。

    ……というわけにはいきません。

    現在の制作環境では、MiniMax H3による動画生成を主に0.4MP、864×480程度の解像度で行っています。

    これは、フルHD(1920×1080)と比べると、かなり小さな映像です。

    もちろん、もっと高い解像度で生成する方法もありますが、その分だけVRAMの消費や生成時間が増加します。

    16GBのVRAMで長めの動画を安定して生成するには、解像度との兼ね合いを考える必要があります。

    そこで、まず低解像度で映像を生成し、完成した動画を後から高解像度化する方法を採用しています。

    SeedVR2によるアップスケール

    動画の高解像度化には、ComfyUI上に構築したSeedVR2の環境を使用しています。

    いわゆるAIアップスケーラーです。

    単純に画像を引き伸ばすのではなく、AIによって細部を再構築しながら解像度を高めていきます。

    実際の映像を比較してみましょう。

    画像
    MiniMax H3で生成したアップスケール前の映像。解像度は864×480(約0.4MP)。細部にはぼやけが残っています。

    MiniMax H3で生成した映像。

    画像
    SeedVR2によるアップスケール後の映像。1920×1080(フルHD)へ高解像度化し、髪の毛や目元、衣服の輪郭、背景の細部がより鮮明になっています。

    SeedVR2によるアップスケール後の映像。

    主人公の髪の毛や目元、衣服の輪郭、背景の細部などが、アップスケールによって明瞭になっているのが分かると思います。

    ただし、これがなかなか大変です。

    アップスケールだけで7時間

    実際に、5分強の動画を1080pへアップスケールした際には、約7時間かかりました。

    15秒程度の動画を生成するのに約17分。

    それを何本も作り、編集して一本のアニメにする。

    さらに、完成した5分強の映像を高解像度化するために7時間。

    動画を生成することだけが、AIアニメ制作ではないのです。

    しかも、アニメは1話だけで終わるわけではありません。

    毎話5分程度の作品を継続的に公開するとなれば、アップスケールだけでも相当な時間が必要になります。

    現在は、生成時の解像度、アップスケール倍率、処理時間、最終的な画質のバランスを探っているところです。

    生成AIで映像を「作れること」と、アニメとして継続的に「公開できること」は、別の問題なのだと実感しています。

    6. 複雑な動きにはBlenderも活用したい

    今後の制作で重要になると考えているのが、Blenderとの連携です。

    Blenderは、3DCGを制作するためのソフトウェアです。

    ただし、今回考えているのは、Blenderで完成映像を作る方法ではありません。

    人物や恐竜の位置、移動経路、カメラの動きなどを、簡単な3D空間で先に決めてしまうのです。

    その映像を、H3のMotion Referenceとして利用する。

    例えば、恐竜に騎乗した人物が街を駆け抜けるシーン。

    人物と恐竜の位置関係を保ちながら、カメラが追いかける。

    こうした映像を、文章による指示だけで安定して生成するのは難しいと考えています。

    そこで、まずBlenderで動きの設計図を作り、H3にアニメ映像として描き直してもらう。

    いわば、3Dによるプリビズと、生成AIによる映像表現の組み合わせです。

    H3では、参照動画の動きを利用した生成も検証しています。

    通常の会話や日常シーンはNew Music Videoを中心に制作し、複雑なアクションではBlenderも活用する。

    そんな使い分けを考えています。

    7. 音楽も生成AIを活用

    音楽についても、生成AIを制作工程に取り入れています。

    使用しているのはSunoなどの音楽生成AIです。

    本作では、Phantom ToneとNoctiaが音楽面を担当しています。

    Phantom Toneは、日本の妖怪や民俗を題材としたJapanese Folklore Hip-Hop。

    Noctiaは、Alternative J-POPを中心とした音楽プロジェクトです。

    どちらも、生成AIと人間による共同制作を行っています。

    映像と音楽を別々のものとして考えるのではなく、作品全体の雰囲気に合わせて制作していく方針です。

    8. AIに全部任せれば完成する、というわけではない

    実際に制作して感じるのは、生成AIは非常に優秀な映像制作ツールである一方、まだ監督の代わりにはならないということです。

    人物がどこに立つのか。

    どのタイミングで振り向くのか。

    台詞の途中でカメラを切り替えるのか。

    どんな表情を見せるのか。

    こうした演出上の判断は、人間が行っています。

    AIが生成した映像を見て、使えるかどうかを判断し、必要なら生成し直す。

    その繰り返しです。

    もちろん、従来のアニメ制作と比べれば、少人数で挑戦できる範囲は大きく広がったと思います。

    それでも、一本の作品として完成させるには、まだまだ手間がかかります。

    9. このnoteで記録していきたいこと

    今後は、『恐竜返還プロトコル』の各話について、制作過程を少しずつ紹介していく予定です。

    うまくいった方法だけでなく、失敗したことや、思ったように生成できなかったことも記録していきたいと思います。

    生成AIは進歩が速く、今日できなかったことが、数か月後には簡単にできるようになっているかもしれません。

    だからこそ、その時点で何ができて、何が難しかったのかを残しておくことにも意味があると考えています。

    次回は、第1話「空から来たもの」の制作について。

    大学の食堂から始まる日常のシーンを、どのようにアニメとして組み立てていったのか。

    実際の制作過程を紹介したいと思います。


    『恐竜返還プロトコル』作品リンク

    📖 原作小説|小説家になろう

    https://ncode.syosetu.com/n6178ms/

    🎬 アニメ版|YouTube「AIアニメ研究所」

    https://www.youtube.com/@走る走る俺たち

    🎵 音楽制作

    Phantom Tone
    https://www.youtube.com/@konkonsama

    Noctia
    https://www.youtube.com/@noctia-g3z


    『恐竜返還プロトコル』は、人間による原作・脚本・演出・編集と、生成AIによる映像・音声・音楽表現を組み合わせて制作するオリジナルAIアニメです。

    制作:AIアニメ研究所

    © Kotetsu Co., Ltd.

    あなたへのおすすめ