メインコンテンツへスキップ
見出し画像

【ComfyUI × Antigravity】MiniMax H3の複雑プロンプト&設定をチャットで「オートマ化」するAIエージェント動画術!

    こんにちは^^
    (今のところ)無料のAIエージェント「Google Antigravity」と「ComfyUI」を連携させる実践ガイドの第2弾です。

    コレって、すでにCodexとかClaude Codeでやってる人が多いかもしれませんね。でも、Geminiがちょっと賢くなったみたいなので、あえてのAntigravityの活用法です。

    画像
    いまなら期限規定の無料プロモーション中

    高性能な動画生成AI「MiniMax H3」は自由度が高い反面、

    「専用構文の英語プロンプト作成」
    「小数点2桁までの秒数指定」
    「複数キャラのタグ管理(Subject / S1〜S3)」
    「複雑なノード配線」
    「よく分からないパラメータの設定がめちゃ重要」

    など、手動で管理する項目がけっこう多いのがネックです。

    そこで、AntigravityにAPI用ワークフローと専用SKILL(このWF対応です)を読み込ませることで、チャットの会話だけでプロンプト作成から長尺ドラマ生成・2段階アップスケールまでを自動化(オートマ化)する手法を解説します。



    ▶ 本記事の元動画は[コチラ]となります!


    🚀 エージェント連携すれば、MMH3の動画製作で、何が進化するのか?

    「4つの進化ポイント」


    MiniMax H3のような設定項目の多い動画生成こそ、AIエージェントとの相性が抜群です。ComfyUI上のMiniMax H3が、Google FlowのOmni1.2 みたいな使い心地になります。

    1.配線と設定の自動化: 難しい参照素材の切り替えやノードのパラメータ設定を、チャット上の会話だけで完結できます。いろいろ注文すると、サイドパネルにプレビューを作ってくれたり、柔軟にUIも変更してくれます。

    画像
    Antigravityの画面

    2.専用構文プロンプトの自動生成&リライト: 秒数計算やMiniMax H3特有の3ブロック構文・Ref2VAの6ブロック構文、各種タグをエージェントが自動記述してくれます。
    → 最大の難所、プロンプトづくりが楽勝になります。

    画像
    相談しながらカットの尺を調整しています

    3.素材の一括生成とシナリオ自動分割: 例えば、キャラクターの10ポーズ画像生成からRefMod化、さらにはあらすじからの自動カット割り・連続プロンプト作成まで任せられます。(でも、丸投げするとろくなものにならないので、一定のディレクションが必要です)

    画像
    箇条書きのあらすじとセリフをAntigravityに投げて、「15秒以内のプロンプトで適切に分割して」という、とても乱暴な指示をします。


    4.AI助監督(自称)によるチェック&2段階ハイレゾ化: 低解像度で素早くテスト生成して動きを確認~プロンプト修正のサイクルを回しつつ、OKが出たカットだけをシード値固定のまま高解像度へ仕上げられます。

    画像
    低解像度のプレビューチェックでOK → アップスケールへ

    🧩 今回使用するオールインワン・ワークフローの構成

    エージェントに裏側で操作させるワークフロー(API)には、以下の機能(モデルやノード)を全部乗せで組み込んであります。

    画像
    ノードがいっぱいです
    • 本体モデル: Fused Turbo Int8 Convrot(4ステップ高速生成+モーションスムージング内蔵)

    • キャラクター固定: RefMod(複数枚のキャラ画像を約1.5MBの軽量ファイルに凝縮)

    • 長尺化・カット結合: obvpm-timeline(生の潜在データ MCTX で結合するため、再エンコードによる画質劣化や音ズレを防止、潜在アップスケールに継承可能)

    • 仕上げアップスケール: Latent Upscaler 3D(縦横2倍・面積4倍へ高精細拡大)


    🎬 チャットだけで作る4つの実践ワークフロー
    (エージェントによる作例集)


    以前の動画でも同じ技法の作例をつくりましたので、Antigravityでも同じことをやってみました。


    【作例1】FL2V(開始・終了フレームの中間補完)

    画像
    最初と最後の中間を動かします

    開始画像と終了画像の2枚のパスをチャットに渡し、「この2枚が繋がる5秒の動画を作って」と指示します。
    → 従来のエージェントを使わない方法だと、このプロンプトを、プロンプトメーカーAppなどのAIで作成後、MMH3のワークフローに投入しました。これを、ひとつのチャットUI上で操作できるのが便利だと思います。修正も「あ、ここはこう直して!」って、連続した会話の流れで指示できます。

    ・すると、エージェントが2枚の画像内容(ポーズ・アングル・背景の変化)を読み取り、ワークフローの秒数設定に合わせた 5.00s の指定と、映像・環境音・BGMの3ブロック構文を自動生成してComfyUIへ送信します。

    【作例2】F2V(1枚絵からのモーションポスター)

    画像
    最初の画像を動かします

    サムネイル画像などの1枚絵を開始フレームとして渡し、「ロゴやタイトルが砂になって消える5秒の動画にして」のように、ざっくりしたイメージを会話ベースで指示すると、オープニング映像用の動きの表現をプロンプトに反映して組み立ててくれます。

    → 「ぜんぜんイメージ沸かないから、かっこよく動かして」というダメなディレクションでも、何かしらのプロンプトとして形にしてくれます。(出来映えはガチャです)


    【作例3】歌の楽曲を参照したリップシンクMV

    画像
    リップシンクして歌っています

    ボーカル曲の音声ファイルパスを渡し、「この曲に合わせて歌うMVを作って」と指示します。

    • エージェントが音声データの再生時間を自動計測して秒数を反映し、Subject 1 と Audio 1 がリップシンクするプロンプトを作成します。

    ※僕の実験では、RefModのキャラは上手にリップシンクできないみたいでした。なので、楽曲参照はそのまま、RefModのキャラ使用を諦めて、画像(キャラクターシート)を参照させたら、ちゃんとリップシンクで歌ってくれました。

    • そのように、「RefModから画像参照(Picture 1)へ切り替えて」といった途中の構成変更をすると、プロンプト修正がとてもめんどくさいです。
      でも、チャットで「RefModから画像に変更して!」と伝えるだけでプロンプト内の参照タグとノード配線を即座に書き直してくれます。
      →この便利さは実際にやってみると納得、と思います笑


    【作例4】あらすじから自動カット割り&2段階アップスケール(90秒ドラマ)

    90秒ほどのあらすじをAntigravityに渡して、ストーリーの展開に合わせて1カット5〜10秒単位の連続するプロンプトへ自動的に分割してもらいました。
    → 自分で文字数を数えたり、連続シーンの秒数を考えて、複数のプロンプトに分けたりする必要がなくなります。

    ※この作例90秒の動画は、9cutのプロンプトになりました。

    画像
    画像
    画像
    画像
    画像

    【事前準備】10ポーズ一括生成&RefMod化

    ドラマの登場人物の参照素材を準備します。

    複数キャラクターを登場させるので、まずRefModで各キャラの特徴を固定します。

    画像

    1.RefMod用に、キャラのポーズバリエーションをつくる:
    Antigravityにポーズリストを渡し、Krea 2のワークフローを連続実行してキャラごとに10枚ずつバリエーション画像を自動生成します。
    ※Krea2とAntigravityでキャラクターをつくる詳しい方法は、前回のNOTEまたは動画をご参照ください。

    画像
    10のポーズをまとめて生成 × 3人分

    2.フォルダ一括読み込み用の RefMod-Creation(Folder).json をエージェントに実行させ、10枚の画像を約1.5MBの軽量RefModファイルへ変換します。

    画像
    フォルダを選択して、中の画像をまとめてRefModへ変換処理

    3.できあがったRefModファイルは、エージェントがComfyUI内のmodels/refmod内に格納してくれます。
    そのままエージェントがRefMod読み込みノードのSlot 1〜3に各キャラを登録してくれます。
    あとは「ソラとタリクが会話するこういうシーンにして」など頼むと、エージェントがキャスト番号<Subject1~3>やセリフタグ(S1〜3)などを自動的に管理して、プロンプトを作成してくれます。

    画像
    models/refmods フォルダに格納


    【2段階アップスケール】

    画像
    今回のアップスケールサイズ
    • 効率的な2段階アップスケールの仕上げ手順:

      1. まずは低解像度(例:0.3MP)で高速で生成し、動きや構図を確認(必要に応じてプロンプトを微調整してリテイクのサイクル)。

      2. OKが出たら「今のシード値を維持したまま高解像度化して」と指示。

      3. 後半の Latent Upscaler 3D が有効化され、縦横2倍(面積4倍・1.2MP)の高精細映像が出力されます。
        (Colab L4(RTX-4070/VRAM22GB相当)の環境で、30秒動画の4倍拡大、4STEPで約1時間が目安でした)


    🔌 超簡単!Antigravity と ComfyUI の連携手順

    Google AntigravityはGoogleアカウントがあれば無料で利用でき、有料APIの契約は不要です。

    1.Antigravity側の準備 公式サイトからインストールして起動し、ワークフローや出力動画をまとめる「作業フォルダ」を開きます。

    ■ Google Antigravity ダウンロード:
     公式サイト(Windows版)

    画像
    画像

    2.ComfyUI側の準備 配布ワークフローをComfyUIで開き、上部メニューから 「エクスポート(API形式)」 を選択して作業フォルダ内にJSON保存します。

    画像
    画像

    3.チャットで接続(3つのパスを渡すだけ) Antigravityのチャット欄に以下の3点を貼り付けて送信すれば、専属オペレーターとしてスタンバイ完了です。

    画像
    こんな感じでURLとPassをチャットにコピペすれば伝わります。

    ▶ このときAntigravityに伝える内容は3つです。

    • ComfyUIのURL(ブラウザのアドレスバーをコピー)

    • API形式で保存したワークフローJSONのファイルパス
      →ファイルを右クリックして「パスをコピー」する。

    • 配布フォルダ内の専用SKILL(SKILL_minimax-h3-video-prompting_261114.md)のファイルパス
      → 同上


    これでAntgravityとComfyUIの連携は完了です。



    以下、各種DLリンク情報です。
    今回使用したワークフロー(API)やMMH3専用SKILLなどは無料ですので、ご自由にいじくり回してみて下さい。



    📺 配布データ&解説動画一覧

    • 【無料】ワークフロー&専用SKILL(Google Drive):配布ファイル置き場はこちら

      • MMH3_obvpm_timeline_RefMod_Upscale_Master (API)_261114.json(MMH3 ALL IN ONE ワークフロー/API用)

      • SKILL_minimax-h3-video-prompting_261114.md(今回のMMH3ワークフロー専用 SKILL)

      • RefMod-Creation(Folder).json(RefMod作成ワークフロー/フォルダ一括選択用)

    • Google Antigravity ダウンロード:公式サイト(Windows版)

    • Google Colaboratory 起動コード:Colab用起動ノートブック
      → ColabでComfyUIを動かす場合も、ブラウザのドレスバーをコピーしてAntigravityに教えてあげればOKです。


    # 元の解説動画:

    MiniMax H3×Antigravity 接続|AI動画クリエイター必見❗️ComfyUIの複雑プロンプト&設定をチャットで『オートマ』化❗️


    📦 必要なモデル&カスタムノード DLリンク一覧

    ワークフローの実行に必要なモデルおよびカスタムノードの一覧です。PCのComfyUIに入れてないものはインストが必要です。

    本体モデル

    基本・高速化・タイムライン関連ノード

    RefMod・アップスケール関連ノード


    🔗 関連記事・動画(第1弾:基本の連携方法)

    AntigravityとComfyUIの基本的な連携手順や画像生成での活用法は、前回の動画と記事で解説しています。

    複雑なプロンプトの構文ルールや秒数計算など、
    僕らがやらなくても良さそうな(全部覚えきれないし)、
    めんどうな設定や調整を、
    AIエージェント(Antigravity)に任せることで、
    「どんな映像を作ろうかな」という演出・監督業に集中できるようになると思います❗️

    ComfyUIの「オートマ化」、おすすめです。
    ぜひ一度、お試しを b^^


     
     

    cue

     
     
    こんにちは。AI映像研究会のcueです。 AIによる画像・映像・音声・音楽制作を研究してます。 映画、音楽、アプリ開発、そしてロードバイクが大好き。 広告クリエイティブ、プロンプトエンジニアなどやってます。

    あなたへのおすすめ