メインコンテンツへスキップ
見出し画像

『Antigravity』をComfyUIにつなげて、チャットで画像生成する一番簡単な方法❗️

    GoogleのAIエージェント「Antigravity」と画像生成ツール「ComfyUI」を連携させて、チャットからの指示で画像生成を行う、(たぶん)一番簡単な方法をご紹介します b^^

    ComfyUIでプロンプトの調整や画像の差し替えを行う際は、キャンバス上でノードのパラメーターを書き換えたり、画像を繋ぎ直して実行ボタンを押す操作が必要です。

    が、エージェント(Antigravity)を接続すると、
    ComfyUIのワークフローを「API形式(JSON)で保存」することで、Antigravityと会話しながら生成・変更・調整など、複雑な処理でもAI経由で実行できます。

    CodexやClaude Codeなど他のエージェントでも同様に連携できますが、Antigravityは(今のところ!)期限未定のプロモーション期間だそうで、追加課金なし(利用上限ありますが基本無料)で利用できるため、気軽に試せる点がナイスです!

    ということで、連携方法を説明します。

    超簡単です b^^ 


    <本記事の元動画はこちらです>
    https://www.youtube.com/watch?v=XA3EGfPqUkw


    1. 準備:必要なものと環境


    画像
    Googleのエージェント Antigravity と ComfyUI
    • Google Antigravity
      (Googleアカウントがあれば無料で利用可能)
      → アプリをダウンロードして起動します。
      → Googleアカウントを登録します。
      → PCのどこかに、Antigravityの「作業用フォルダ」を新規作成します。
      (フォルダ名は好きな名前でOKです)


    • ComfyUI環境
      (ローカルPCでもGoogleColabなどのクラウド環境でもOKです)
      → いつも使っているComfyUIを起動しておきます。

    • 使用するワークフロー(API形式のJSON):

      → WFは使いなれたものでも、なんでもOKです。

      ※ここでは参考WFとして以下を使いました。
      ※前回ご紹介したキャラ開発の作業を、Antigravityで操作しました。

      1. Krea2 T2I(正面立ち絵生成用)

      2. Krea2 I2I(ポーズ変更・キャラシート展開用)


    画像
    Krea2 T2I 
    画像
    Krea2 I2I / Identity Edit LoRAなど

    → これを使う場合は下の方のリンクからゲットできます。


    2. 連携セットアップ(手順は2つ!)


    STEP 1:ComfyUIからワークフローをAPI形式でエクスポートして保存する

    1. ComfyUIのメニューから「Export (API)」を選択します。

      • ※通常の「Save」ではなく、必ず「API用のJSON」として保存します‼️(重要)

        → Krea2の「T2I用」と「I2I用」の2つのJSONファイル(API)をPCの「作業用フォルダ」に保存しました。


    STEP 2:Antigravityに、ComfyUIのURLとJSONパスをコピペして教える


    1. Antigravityのチャット欄の左上で、先ほどの「作業用フォルダ」を選びます。

    画像
    (フォルダ名はお好きな名前でOK)


    2.Antigravityのチャット欄に以下の2つを貼り付けて、
     Enterします。

    ① ComfyUIの接続URL(アドレスバーの表示をコピペ)

    → ローカル環境なら http://127.0.0.1:8188 など
    → Colab環境なら発行されたURL

    画像


     ② エクスポートしたワークフローJSONのローカルパス

    保存したワークフロー(API)Jsonファイルを
    「右クリック」して「パスをコピー」します。

    画像
    保存したワークフロー(API)Jsonファイルを
    「右クリック」!


    そして。この2つをAntigravityに教えてあげます。


    画像
    ⭐️アドレスバーの「URL」と「Jsonのパス」を貼り付けて、Enterします。




    3.Antigravityがバックグラウンドで接続テストとワークフロー構造の解析を自動で行って、問題なければ連携完了になります。

    画像
    連携が成功したことを、おしえてくれます。


    はい。
    これでAntigravityからComfyUIを操作できる状態になりました!

    ここからは、お好きなようにチャットで指示して、
    画像生成しましょう。



    3. 実践:対話によるキャラクター生成と展開


    ComfyUI側の画面は開いたままにしておきます。
    → 裏側で動いてます。

    生成操作の指示はAntigravityのチャットで行います。

    こんな感じです。

    画像
    「やるよー」→「オッケー!」と言う会話です。

    チャットAIで画像生成するのと、ほぼ同じ操作感ですよね。

    動かすワークフローを「自分が好きなもの」に変更できる、
    というのが、チャットAIとは違うところです。



    以下がAntigravityでComfyUIを利用した場合の操作例です。

    キャラクター生成して、ポーズなどの変更をして、キャラシートをつくる、という画像生成の処理です。

    ① 正面立ち絵の生成(Text-to-Image)


    • チャットで生成する画像の「プロンプト」を指示します。

    • エージェントがComfyUIのAPIへジョブを送信してキャラクターの正面立ち絵を出力します。

    画像


    ② ポーズ変更とバリエーション展開(Image-to-Image)

    • 先ほど生成した画像をベースに、Krea 2 Edit(Identity Edit LoRA)のワークフローを使用します。

    画像
    画像編集用の Krea2 Identity Edit ワークフロー
    画像
    このように会話しながら、画像生成します。
    → このとき、僕は「プロンプト」そのものを書いてません。
    顔アップにして!とエージェントに依頼すると、
    エージェントが必要なプロンプトを書き上げてComfyUIに送信してくれます。
    画像
    出力です
    • 他にも「砂の上に座る横構図のポーズ」に変更したい、などをチャットで指示すると、原画の特徴を保持したままキャラの特徴を維持して、構図や表情を変更したバリエーションが出力されます。

    画像
    ComfyUIの画像プレビューノードではなく、
    Antigravityのインラインに生成された画像が表示されます。
    画像ファイルは「作業フォルダ」に保存されていきます。


    • パラメーターや英語プロンプトの内容も、チャットで尋ねることで確認できます。

      「プロンプトとその和訳を表示して」と指示すれば、

    画像
    プロンプトや和訳が表示されます。


    ③ キャラクターシートの生成(LoRAの切り替え)

    • QuadView LoRA:正面・側面・背面+顔アップの4面シートを一発で作成。

    LoRAを、キャラクターシート専用のものに切り替えて、Antigravityから操作します。
    (ワークフローの内容を変更しましたが、先のように会話でのやりとりは、基本的に「●●をお願い」という内容です)

    画像

    出力はこんな内容です。

    画像
    Quad View Character Sheet Krea2

    • Dynamic Character Sheet LoRA:設定資料集のような動的シートを作成。

    → こちらもLoRAを切り替えて、別のキャラクターシートを出力しました。

    画像


    Dynamic Character Sheet Krea2 LoRAによる出力。

    画像

    このシートは、
    規定のプロンプトがけっこう複雑なので、
    自分でプロンプトを書き換えるのはめんどくさいです笑


    そこで、
    エージェントに、

    画像

    のような、「お願い」をすれば、
    規定のプロンプトの街頭ブロックをリライトして、ComfyUIに送信してくれます。

    たとえば、

    • 「中央のメインポーズを別カットに差し替えて」「下段の表情研究を別の感情に変更して」と会話で指示するだけで、エージェント側が複雑なプロンプトを自動調整して再生成を行います。

    → このあとで、どの画像を使うとか、各表情をどうしてほしい、という「具体的な指示」をしますと、

    画像
    部分的に画像が変更できました。


    というように、

    チャッピーで画像生成するみたいに、
    ComfyUIをチャットで操作できる、

    という、
    AntigravityとComfyUIを連携するワザのご紹介でした。

    いまのところ無料で使えますので、
    ためしてみてはいかがでしょうか。


    4. ダウンロードリンク・参考リソース一覧

    今回使用したファイルおよび関連リソースのリンク集です。

    Google Antigravity ダウンロード

    https://antigravity.google/download


    ワークフロー/ノード/LoRA/プロンプト/Colabコード



    Krea2 各種LoRA・カスタムノード


    Krea2 基本モデル(本体・エンコーダー・VAE)



    関連記事(Krea2の基礎・応用まとめ)



    動画本編はこちらです。


     
     

    cue

     
     
    こんにちは。AI映像研究会のcueです。 AIによる画像・映像・音声・音楽制作を研究してます。 映画、音楽、アプリ開発、そしてロードバイクが大好き。 広告クリエイティブ、プロンプトエンジニアなどやってます。

    あなたへのおすすめ