メインコンテンツへスキップ
見出し画像

(前編)ComfyUIのワークフローをいじりたい ~新規参入・再挑戦ユーザー向けの最低限の基礎~

    問題

    • Wan2.2やQwen-ImageによってComfyUIに初めて触れたり、久しぶりに再挑戦する人も増えてきた。

    • その中で、「まずノード構築ができないと使えないんでしょ?」という誤解はだいぶ解消されてきたように思う。そう、拾ってきたワークフローを開き、プロンプトや必要な数値を入れれば誰でも使えるものなのだ。

    • だが、そうして使っていると一部の処理を変更したくなったり、独自の処理を入れたくなることもあるだろう。

      • 幸いなことにComfyUIにはそれを可能にする能力があるのだが……そこで既存のワークフローを使ってきた弊害が出てくる。

        • 要するに、「何をやっているのか?」「どこをどう変えればいいのか?」がわからないので手詰まりになってしまう、という話である。

    • しかし、「検索したり解説書を読んで0から100まで学べ」というのは厳しすぎる。

      • 多くのユーザーは画像や動画を生成したいのであって、別にComfyUIのプロになりたいわけではないのだから。

    対処

    • そこで、ワークフローの流れと編集(方法&考え方)について、本当に最低限の基礎だけをまとめた記事を作成する。

      • 「最初はここだけ覚えておけば大丈夫だろう」というポイントを厳選したつもりだ。

    • すでに初歩を理解しているユーザーやComfyUIを手足のように使っているヘビーユーザーには今さら感あふれる内容なので、おさらいとして読み流すなり、笑ってスルーしていただきたい。

      • もしかすると初心者に説明する際のヒントぐらいにはなるかもしれない。

    今回のワークフロー

    画像
    変更点はエリア分け・配置・生成サイズのみ
    • これはComfyUIの「Templates」にある「Image Generation」をすこし改変したものだ。

      • 同じ「Templates」にあるSDXLのワークフローは本体+リファイナーの2段方式なので、最低限の描画方法であるこのワークフローを使う。

        • 大半のユーザーがSDXLでもこの1段方式を採用しているので問題ないだろう。

      • ワークフローを開くと「モデルがたりない! ダウンロードするか?」と聞かれるが、もちろん今どきSD1.5のチェックポイントを入手する必要はない。

        • 警告は無視して、お好みのSDXLチェックポイントをセットしてほしい。

    • ComfyUIは設定で表示を日本語に切り替えられる。だが、「条件付け」「潜在」といった直感的でない言葉も使われるため、かえって混乱しやすい。よって、ここでは英語のまま解説する。

      • 海外のサイトを(手作業またはチャットAIで)検索する時も困るので、その意味でも英語表示がおすすめだ。

    • では、順番に見ていこう。

    1.Load

    画像
    Loadエリア
    • 「Load Checkpoint」ノードでは、ロードしたいチェックポイントを指定する。

      • そして、たとえば「foobar.safetensors」をロードすると、それが持つ「MODEL」「CLIP」「VAE」が右側のピン(出力ピン)から先のノードに渡される。

        • 「VAE」が含まれていない場合は「VAE Loader」で準備する。

    • 📌MODELは画像生成AIの説明でU-Netと言われるもの。

      • 非常に乱暴に言うなら、「これを描いてほしい」という指示に対して適切な絵を描いてくれる画家のようなものだ。

        • 現在は「チェックポイントはモデル、Loraもモデル、チェックポイントが出力するのもMODEL……」とややこしいことになっているが、とりあえず各種サイトで配布されているような「モデル」のことはいったん忘れてほしい。

        • この記事ではMODELとの混同を避けるため、チェックポイントのことは明確にチェックポイントと呼ぶ。

    • 📌CLIPはテキストエンコーダーと呼ばれるもの。

      • これは「人間の指示をMODELが理解できるように変換してくれる通訳」と考えればわかりやすいだろう。

        • 英単語が微妙に間違っていても🤖「もしかして……?」と修正してくれることもあるし、「緑髪、ロングヘア、ツインテール……」のような人間の指示を🤖「ミクですね! わかりました!」と上手に解釈してくれることもある。

          • もっとも、これによる悲喜劇……誤解もしばしば起きるわけだが。

          • 🤖「わからないので1girlにしておきました!」もよくある。

      • 最近はこの機能を重視して、既存の本格的な言語モデルが採用されることも多いが、ここでは標準的なSDXLとして話を進める。

        • 読み込み用ノードは変わるが、考え方は変わらない。

    • 📌VAEについては、後で使用する際に説明する。

    2.Prompt

    画像
    Promptエリア
    • ここはユーザーにとっては「プロンプトを入力する」部分。ComfyUIにとっては「与えられたプロンプトを、CLIPを使ってMODELへの適切な指示に変換する」部分だ。

    • 📌ポジティブ・ネガティブそれぞれの「Clip Text Encode (Prompt)」ノードの左側のピン(入力ピン)に、「Load Checkpoint」ノードからの線(ワイヤー)がつながり、これを通して受け取ったCLIPによって処理が行われる。

      • 言い換えれば、このCLIP入力ピンをつながない限り、「Clip Text Encode (Prompt)」ノードは機能しない。

        • 入力ピンには必須でないピンもある。そちらは必要な時だけつなげばいい。

        • 必須ピンがつながっていないノードがあるとワークフローそのものが実行できない。

          • あわてずに該当箇所を探してつなごう。

        • 逆に、必須でないピンの状態は監視されない。そのため、気づかずに「接続・切断・入れ替え」を行ってしまって「いつのまにか出力される絵の感じが変わっている!」と驚くことも。

        • 大型ワークフローでは入出力が「無線化」されていることもよくあるが、あれもComfyUIから見ればちゃんとつながっているのだ。

      • 一方、出力ピンの接続は自由だ。昔の海外ゲームブック風に言うなら、「あなたはそれらを使ってもいいし、使わなくてもいい」である。

    • ユーザーが入力したプロンプトはCLIPによってMODELが理解できる指示(CONDITIONING。生成のための「条件」)に変換され、この先のノードで利用される。

    • 📌この「入力ピンから入力し、出力ピンから出力する」という流れは基本的に変わることはなく、たとえこのノードを「Load Checkpoint」ノードの左側に移動しても逆流はしない。

    画像
    「左に位置するノードから右に位置するノードへ流れる」わけではない
    • 出力ピンから別のノードの出力ピンにつなぐ、といったことも不可能だ。

      • もちろん、流れが正しくても別の種類のピンにはつなげない。

        • ただし、「どの種類でも接続可能」なピンも存在する。

    画像
    出力ピンから出力ピンへはつなげない
    • 内部的には以前のノードに戻ることも可能になっていて、それを利用したループノードなども作られているのだが、それは通常の進行方向とはまた別の話である。

    • 💡テキスト部分は別のノードから入力してもかまわない。

      • というか、これがComfyUIの醍醐味とも言える。

      • たとえば「ランダム生成する」「短いプロンプトを言語モデルで増幅する」「Taggerの出力を渡す」……といった具合である。

    3.Latent

    画像
    Latentエリア
    • ここでは空のLatent Imageを用意している。要するにキャンバスだ。

      • 「Latentとは?」という質問に答えるのは難しい。

        • 厳密に言おうとすると「我々の想像する画像とはまったく違う、latent空間における抽象的なデータの集合であり~」などと非常にわかりづらい説明が始まってしまう。

    • 📌AI研究者には怒られそうだが、ここでは正確さよりわかりやすさを優先して、ざっくり「画像生成AIが理解できる特殊形式の画像データ」と捉えておこう。

      • たとえば、「オブジェクトの種類を示すID・位置・方向」などが記された3Dのデータを想像してほしい。

        • 人間の目からは意味不明な数値の羅列にしか見えないが、3Dソフトはそれをちゃんと理解しているわけだ。

    • 💡このノードでも、「サイズを(幅と高さをまとめて選べる)外部の便利なノードから渡す」というアレンジはすぐに考えつくだろう。

      • それを繰り返して、ワークフローは際限なく肥大化してしまうのである。

    • Latentは「レイテントゥ」や「レイトゥントゥ」に近い発音らしいが、なんとなく「ラテント」と読んでしまう。

      • 「ジェミニ」を「ジェミナァイ」と言う日本人もあまり見ないし、「どうもレイトゥントゥー!に異常があるようです」と言っているのを聞かれて、噂とかされたら恥ずかしいし……。

    4.Sampling

    画像
    Samplingエリア
    • ここまでの下準備を終えて、いよいよサンプリング用ノードが画像生成の核となる処理を開始する。

    • パラメータは多いが、seed、steps、cfg……などおなじみのメンバーだ。

      • もちろん、これらも外部ノードから与えることができる。

    • 📌ここで使うキャンバスが、先ほど用意したLatent画像だ。

      • もちろん実際のプロセスは人間のような「線を引いて、色を塗って……」という「描画」ではない。思考を含まない「生成」、単なる巨大データの処理である。

    • 生成中のキャンバスの内容は人間が理解できる形、つまり普通の画像に簡易変換され、プレビューに表示される。

      • 表示されない場合はComfyUI-Managerの「Preview Method」が「None」になってしまっていないか確認しよう。

    5.Decode

    画像
    Decodeエリア
    • サンプリングが終了したら、VAEの出番だ。

    • 📌「VAE Decode」ノードは「Latent image→通常の画像」の変換を行う。

      • 3Dデータの例をまた使うなら、「レンダリング」だ。謎の数値の羅列が驚くような3D空間へと変わる。

      • これは簡易的な処理ですませるプレビューと違い、時間をかけて正確に変換する。

      • 「通常の画像→Latent image」を行う「VAE Encode」ノードも存在する。

        • 既存の画像をいじりたい時はこれを使う。

    • デフォルトのVAEの変換が気にいらなければ、別のVAEを「VAE Loader」で読み込むこともできる。

      • しかし、何かを改善したことで新たな不具合が発生することもあり、VAEのアレンジはなかなか難しいようだ。

    6.Save

    画像
    Saveエリア
    • 最後はファイルへの保存だ。

    • 📌「VAE Decode」ノードが出力する一般的な画像データ「IMAGE」は、ワイヤーで保存用ノード「Save Image」の入力ピンにつながっている。

      • この先に別のノードはなく、途中で枝分かれした他のノードもない。

      • よって、ファイルへの保存処理が終了した時点でワークフロー全体が終了する。

        • まだ処理が必要なノード群がある場合は、それらが終わるまで続く。

    • 通常は保存が必須だと思うが、なんらかのテストなら、ここは「Preview Image」ノードでもかまわない。

    • 💡「Save Image」を、より高機能な保存用ノードに置き換えてもいい。

      • jpgやwebpでの保存とか、A1111系WebUI互換のメタデータを埋め込むとか。

        • 凝ったワークフローを作り始めるとA1111系WebUI互換のメタデータの意味は(A1111で生成を再現できないので)薄くなってくるのだが、画像管理ソフトなどでそこからプロンプト情報を得ている場合は役に立つ。

    ここまでのまとめ

    • 以上でComfyUIの「一仕事」はおしまいだ。全体の流れとMODEL、CLIP、VAE、LATENTなどの役割はわかってもらえただろうか。

    • こうして見ていくと、実は難しい部分はほとんどないことがわかったと思う。

      • しいて言うならLatentという概念ぐらいだが、これは説明すればするほど混乱を招きそうだ。

        • 当面は「AIが処理できるのはAI形式だけ」「VAEでjpgやpngとAI形式を相互変換する」ぐらいに考えてほしい。

    • 雑にたとえた部分をより深く知りたいなら、チャットAIに気がすむまで付き合ってもらおう。

      • これはリアルタイム検索が必要な最新技術ではないので、おかしなことはそれほど言われないはずだ。

    • 📌このワークフローはいわゆるT2I(Text to Image)だが、動画であっても「必要なものをロードして、プロンプトと各種パラメーターでサンプリングする」という流れは変わらない。

      • ただ「大量の連続した画像を生成する」「VAEでデコードしたそれらを、一つの動画ファイルとしてまとめる」という部分が違うだけである。

    • 迷宮のような巨大ワークフローも、ただ単に受け渡す要素が増えたり、それを加工するノードが増えたりしているだけなのだ。

      • そう考えれば、だいぶComfyUI(とワークフロー)に対する恐怖やストレスが減るのではないだろうか。

    • 予想以上に記事が長くなってしまったので、ここで分割する。後編はワークフローの改変と、素早いノード編集のための小技の話だ。


    • 続きはこちら。

     
     
    PCを使っていてあれこれ苦労したことの、自分用備忘録です。 日がな一日、夜がなよっぴて検索しても解決が難しいトラブルばかりなので、ニッチな内容が多めです。 同じ問題で困っている方のお役に立てれば幸いです。

    あなたへのおすすめ