メインコンテンツへスキップ
見出し画像

ComfyUIで複数キャラの描画を楽にしたい(その1) ~comfyui-prompt-controlでお手軽エリア分け描画~

    執筆時点の状況:80%解決

    • キャラLoraの複数利用には対応しきれないため。

    ⚠️2026/01/17 14時 COUPLE問題の再修正が行われたことを確認した。COUPLE、COUPLE MASK、その中でのX範囲およびY範囲指定がすべて正常に動作する。

    ⚠️2026/01/14 8時 v2.1.2で不具合が解消されていることを確認した。

    ⚠️2026/01/14 1時 現在、2個目以降のCOUPLEキーワードが使用不能になっているのを確認。不具合解消のためのファイルを公開。

    ⚠️2025/09/13 22時にImpactWildcardEncode・ImpactWildcardProcessor接続時の注意を追記

    問題

    • 5ちゃんねるのAIスレで月に1回以上は見かけるのが、この「ComfyUIで複数キャラの描き分けできないの?」という質問である。

      • たとえば、男女を同時に描いた時に両方とも同じ服装になったり、同じ表情になったり、意図とは逆の表情になったりするのを回避したい……という話である。

    • 実際のところ、複数キャラ・物の位置指定での描き分け、つまりA1111系WebUIでの「Regional Prompter」に相当する処理はcomfyUIでも可能である。

      • 初期からそれをアピールしていた覚えがある。

      • だが、通常の方法ではノードの繋ぎ変えが面倒すぎてやっていられない。

      • その手間を減らすために大掛かりな切り替えノード群を用意したり、切り替え処理のカスタムノードを自作するのもエネルギーが必要だ。

    思考錯誤と対処

    • 📌Loraを使わない描き分けなら、「comfyui-prompt-control」の機能で十分だ。

      • なにしろプロンプトに特定の構文を書くだけで対象エリアの指定が可能なのだから、実に簡単。

      • 描き分けの質問とセットになりやすい「Loraを使うと複数キャラが混ざる」というのはエリアごとのプロンプティングとはまた別の問題なので、その意味での完璧な描き分けは難しい。

      • また、NovelAIの描き分け機能と違い、「キャラごと」ではなく「範囲ごと」という制限もある。

        • よって、今回の解決度は20%マイナスした。

    • 今回の記事も長いので、先に結果をチラ見せしておく。

      • こんな感じでエリアごとに複数キャラの描き分けが可能だ。

    画像
    普通にプロンプトを書くと、このような画像を作るのは難しい。
    ナース+メイド合成衣装になりやすいし、表情も指定できないからだ。

    ⚠️2025/08/29 22時 作例記事と次の記事へのリンクを追加

    • 「前置きが長い!」と鱗滝さんからありがたい助言をいただいたので、すこし修正する。

    • もし、あなたに描き分けの経験が少なく、「位置・表情・動作……を個別指定できると何がうれしいの?」「そんなにきちんと指定できるの?」という疑問や不安があるなら、先にこちらを見て参考にしてほしい。

      • 多少モチベーションも上がるかもしれない。

    • 一方、すでにノードの組み合わせで描き分けを実現していて、カスタムノードの導入も慣れているベテランユーザーはいきなり実践編に進んでも大丈夫だ。

      • ここから文末までは基本的な内容だから、読むとしても「機能一覧」までで十分だろう。

    • というわけで、ショートカットする場合はこちらへ。

    ・どちらでもなければ、このまま先へ進んでほしい。

    comfyui-prompt-controlとは?

    • このノード、とても優秀なのだが日本語での詳細な解説記事が見当たらない。

      • 検索しても「comfyui-prompt-co……mposer? 違う!」といった空振りばかりである。

      • work4aiさんがさらりと概要を語っているぐらいだ。

      • ひょっとしたら、PatreonのDiscord?のような閉じたコミュニティでは有名なのかもしれないが、さすがにそこまでは調べようがない。

    • AI画像生成の情報が早い5ちゃんねるのAIスレでも、ほとんど名前を見かけない。

      • 私が気づいた範囲では5回あるかないか……ぐらいのマイナーっぷりだ。

      • しかし、一応名前は出ていたので「そのうち誰かが解説を書いてくれるだろう」と思っていたのだが……まあ理由はわかる。とにかく説明が面倒すぎるのだ。

        • そして「comfyui-prompt-control使えばいい、やり方は調べて」とは、手軽にヒットする検索結果が無い状態では言いづらい。

        • というわけで、書くことにする。

    機能一覧

    • 現在のcomfyui-prompt-controlでは以下の機能が使える。

      • 🌟A1111風のプロンプトスケジューリング。

        • プロンプトに「[apple:orange:0.3]」と書くと、総ステップの30%まではapple、それ以降はorangeとして処理される。

          • なお、「car:[1.2:0.3:0.5]」のように重みに対してもスケジュール構文が使える。

      • 🌟A1111風の書式でLoraをプロンプト内に書いて読み込める。

        • この書式に対してもスケジューリングが可能。

        • つまり、書き方は違うがLoraの「start/stop」のような指定が実現できる。

          • 「最初だけ強く効かせて構図を変更」「最後に弱く効かせて服や小物の揺れを調整する」など。

        • 「[<Lora:Hogehoge:0.9>:0.3:0.8]」という書式はA1111系WebUIに慣れていると衝撃的だ。

      • 🌟カスタムノード「Attention Couple」相当のエリア別プロンプティング(regional prompting)。

        • ComfyUIに最初から入っている「Conditioning (Set Mask)」「Conditioning (Set Area)」ノード相当の機能(公式サンプルでは「Area Composition」と表現されている)も使える。

        • この構文に対してもスケジューリングが可能。意味は後述する。

      • 📌BREAKやANDも使用可能。

        • もちろんこれもスケジューリングが可能。

          • そろそろわかってきたと思うので、もうわざわざ書かない。

      • 📌「(apple:1.2)」のような重みの価値をはじめとした、ComfyUIとA1111のプロンプト処理の違いを切り替えられる。

      • 📌「red hairがシャツやスカートにも影響してしまう」といった問題を軽減する「cutoff」カスタムノード相当の機能も内蔵。

      • 📌「DEF(HIGHQUALITY=masterpiece, best quality)」のように書くと、「HIGHQUALITY」が「masterpiece, best quality」と解釈される簡易マクロ機能もある。

    • ぐったり……いや、びっくりするほど多機能だ。

      • 基本的には既存の本体およびカスタムノードの機能を(改良も加えつつ)プロンプトで操作できるようにしたもの、と捉えればいい。

        • ImpactWildcardEncode(またはProcessor)のすごい奴、と言えばわかりやすいだろうか?

          • もっとも、こちらにはワイルドカード処理機能がないので、必要ならImpactWildcardProcessorや他のワイルドカード処理ノードと組み合わせて使うことになる。

          • 2025/09/13 22時 追記
            ⚠️ImpactWildcardEncode・ImpactWildcardProcessorに外部からテキストを入力する際は、2番目のテキストボックス(Populated Prompt)につなぐこと。1番目ではプロンプトが処理されない。2番目ならワイルドカード機能などを含めて正常に処理される。

      • そして、各機能がスケジューリング可能なことで、非常にハイレベルな操作が可能になっている。

        • ハイレベルすぎて人の手にあまる感じもなくはない。

      • DEFのようにゼロから作られた機能もある。

    • スペースの都合で今回はRegional Prompting部分にフォーカスして解説する。

    準備

    • いつものようにComfyUI-managerやgit cloneで導入する。

      • ⚠️requirements.txtがあるので、git cloneした場合は手動インストールが必要だ。

        • windows portable版のComfyUIを使っている場合は、そのフォルダ(python_embededフォルダやupdateフォルダが見えているフォルダ)で、「.\python_embeded\python.exe -m pip install lark」を実行してインストールする。

    • githubやcustom_nodesフォルダの「comfyui-prompt-control/example_workflows/Basic Text to Image.json」を見て、自分のワークフローに組み込む。

      • お試しなら、とりあえずこれを動かしてみても良い。チェックポイントは手持ちのものに変えること。

      • 同じフォルダの「Workflow Comparison.json」は、「同じ処理をノードで実現するとこんなに大変だよ!」と示すためのもの。

        • ドキュメントによれば「内部的に可能な限り通常のノードを使用した場合と同じ処理をしているため、相性問題は起きにくい」そうだ。

          • 実際、私も長く使っているがトラブルの記憶はない。

    • ⚠️私がRTX3060を使っているせいかもしれないが、fp8でRegional Promptingを使うとエラーが出てしまう。

      • 「Conditioning (Set Mask)」「Conditioning (Set Area)」ノード相当のエリア分け機能は普通に使えるが、より新しい方法が使えない。

        • 今回はこの新しい方法を前提として話していくので、もしエラーが出たらfp16に切り替えて対処してほしい。

      • 普段のVRAM消費を減らしたい場合の解決策は二つ。

        • kijai氏の「CheckPointLoaderKJ」ノードでロードするようにして、必要に応じてfp8からfp16に切り替える。

          • 切替時に一度再読み込みが必要。

          • fp16モード中はVRAM消費量が増える。

        • GGUFに変換する。

          • (一度だけだが)変換の手間がかかる。オリジナルファイルも残す場合はストレージを無駄に消費する。

          • 既存ワークフローのローダーの置き換えが必要。

          • GGUF化により、なんらかの不具合が起きるかもしれない→現在はGGUFへの対応が大幅に進んでいるので杞憂?

    使い方

    • では、サンプルワークフローを見てみよう。

      • かつての(version1の)ワークフローは非常にごちゃごちゃしている上に、各種パラメータの意味や一部の接続もよくわからないという「使って覚えろ!」的なスパルタ仕様だったが、現在は非常にすっきりしている。

        • もしあなたが以前comfyui-prompt-controlに挑戦してあきらめてしまったなら、ぜひもう一度挑戦してほしい。v2になって大幅に作り変えられたため、驚くほど簡単になっている。

    画像
    旧ワークフロー。初心者にはおすすめできない……。
    「?」のノードのパラメータがよくわからないのもつらかった。
    画像
    現在のワークフロー。驚きのシンプルさ!
    • シンプルな画像生成ワークフローと見比べると、この部分だけが違うことがわかる。ここがポイントだ。

    画像
    いつものノードが置き換えられているだけだ。
    • 自分のワークフローに取り入れる場合は、ここに相当する部分を置き換えればいい。

      • 「どうやって?」と思ったなら、この記事を読んでみてほしい。

    • 📌このサンプルではLora読み込み処理も行っているが、別のLora読み込みノードを使うなら、「PC: Schedule LoRAs」ノードは削除してもかまわない。

      • このようにprompt-controlのノードには略称である「PC: 」が先頭に付いている。

    • ネガプロンプトで特殊な機能を使わないなら、赤い「PC: Schedule Prompt」ノードも通常の「CLIP Text Encode(Prompt)」ノードから置き換える必要はない。

      • ただ、どちらも「PC: Schedule Prompt 」ノードでそろえておけば混乱は避けられる。急にRegional Promptingをネガで使いたくなった時にあわてなくてすむので、迷ったらそろえておこう。

    • 📌これだけでも動くのだが、「Regional PromptingをAttentionモードで使う場合はこれを挟んだほうがいい(=処理が正確になって速度も上がる)よ!」とドキュメントに書かれているので、「Attention Couple (batch negative)」を挟んでおこう。

      • 長いものには巻かれていくスタイルだ。

    画像
    一つぐらいノードが増えても気にならないだろう。
    • 📌なお、左端のプロンプトが書かれたノードにはcomfyui-prompt-controlの多くの機能のサンプルが詰め込まれているのだが、今回使いたいRegional Promptingに関することは書かれていない。

      • だから、このワークフローを使ってテストする場合、ポジティブプロンプト入力部分の内容は全部消し、これから紹介していくRegional Promptingのサンプルプロンプトで書き換えてしまってかまわない。

      • ネガティブプロンプトも普段そのモデルで使っているものに変えて大丈夫だ。

    Regional Prompting

    マスクの基本

    • まず、基本的なことから話していこう。

    • ComfyUIは本体にあらかじめ用意されている「Conditioning (Set Mask)」ノードに「マスク」をセットすることで、入力されたConditioningを反映させるエリアを指定できる。

      • 「厳密に」「その中に限定できる」わけではないことに注意(後述)。

    • 「Load Image」ノードなどの右クリックから「MaskEditor」を開くとこうなる。

      • そして、マウスで塗りつぶした範囲が描画対象になる。

    画像
    手に何かを持たせたいなら、こんな風に範囲を指定する。
    • 「逆では?」と思うかもしれないが、その場合はこう考えてほしい。

      • 「MaskEditor」を開いた時点では、全体が透明なマスキングテープで覆われている。

      • その一部をマウスによって(スクラッチのように)削り取ることで「ここは描画可能」「ここは描画不能」という情報を完成させる。

    • つまり、「マスクの作成」とは「覆い隠す部分だけ」の作成ではなく、この「描画可能・不能マップ」の作成なのだ。

    • 通常、マスクはこのように起動中に作るか、事前に用意しておいた白黒画像を読み込んで作成する。

      • Kijai氏の「KJNodes」の「Create ~ Mask」系ノードのようにパラメータ指定でマスクを作るノードもある。

    • そして、このマスクとそれを使うノードを必要に応じてつないでいくわけだ。

    comfyui-prompt-controlではどうなる?

    • comfyui-prompt-controlでは、プロンプトの中で「MASK(0.3 0.8, 0 1)」のようにXとYの座標を0~1で指定してマスクを作ることができる。

      • ただし、このマスクはprompt-controlの処理専用だ。

        • これを出力して他のノードで使うことはできない。

      • また、もっと複雑なマスクが使いたければ、別の構文で画像から読み込むことも可能だ。

    • 現在はMASKとIMASK、AREAという基本キーワードと、COUPLE、FILLという特殊キーワードが存在する。

    • そして、COUPLEを使う方法は「This is still considered an experimental feature」まだ実験的な機能だが……「it is faster and often more flexible than latent-based masking.」Latentを使ったマスク処理(=MASKやAREAの単体使用)よりも柔軟かつ早い、とある。

    • 📌実際、「MASK()」だけの通常の方法では生成時間が2倍・3倍とどんどん膨れ上がっていくのだが、「COUPLE MASK()」の方はわずかに増えるだけだ。

      • これはLatent方式では、描画しない部分も含め、キャンバス全体を何度も描画するから。

        • 「対象エリア」と「その範囲用のプロンプト」をセットにしたメモを渡して描画してもらい、それをエリアの数だけ繰り返すような処理だから、当然遅くなる。

      • 一方、COUPLEによるAttention方式では、たった一つのプロンプトのメモの中に「この部分はこのエリア」という情報が複数書いてあるイメージだ。

        • これなら描画は1回だから早い。

          • 「この部分はこのエリア、次はこのエリア……」という処理に多少時間はかかるが、Latent方式とは比較にならない。

          • ⚠️fp8でエラーが出るのはこのCOUPLEを使う場合だ。

            • fp8を好むような慣れたユーザーはエラーを読めば自己解決できそうな気もするが、一応注意してほしい。

    • では、COUPLEから説明すればいいのか?

      • ところが、COUPLEの説明をしようとすると、一度MASKに戻ることになるのだ。

      • というわけで、素直にMASKから見ていこう。

    • なんと、もう6,000文字を超えてしまった。

      • というわけで、ここで分割する。最後まで完全無料なのでご心配なく。


    • 続きはこちら。

     
     
    PCを使っていてあれこれ苦労したことの、自分用備忘録です。 日がな一日、夜がなよっぴて検索しても解決が難しいトラブルばかりなので、ニッチな内容が多めです。 同じ問題で困っている方のお役に立てれば幸いです。

    あなたへのおすすめ