メむンコンテンツぞスキップ
芋出し画像

ComfyUIで耇数キャラの描画を楜にしたいその3 comfyui-prompt-controlでお手軜゚リア分け描画Regional Prompting

    最初に

    • 前回たでの内容で、基本的な゚リア分け描画はできるようになったはずだ。

    • ここからは必須の基瀎知識ではなく、知っおいるず圹立぀堎面があるテクニックの玹介になる。

      • たずえば「瞊長キャンバスでの分割の打率を䞊げたい」ずいった時には助かるだろう。

    • すこしだけ耇雑な郚分もあるため、箞䌑めずしお䜜䟋蚘事を甚意した。

      • 頭が疲れた時の小䌑止に䜿えるかもしれない。


    • 📌asagi4氏にずっお、comfyui-prompt-controlは「ComfyUI nodes for prompt editing and LoRA control」だ。

      • そう。各皮機胜で肥倧化しおいるが、コアず蚀うべき郚分はプロンプト゚ディティングスケゞュヌリングであり、それを䜿ったLora制埡なのだ。

    • ずいうわけで、今回はそのスケゞュヌリングを䜿ったすこしトリッキヌな䜿い方を説明しよう。

      • ここたでの内容を理解しおいる、ずいう前提で話しおいくので、わからない郚分があれば以前の蚘事を芋盎しながらゆっくり読んでほしい。


    • 最初の項目はMASKずAREAの単䜓䜿甚に぀いおだから、すでにcomfyui-prompt-controlのAREAの䜿い方を理解しおいるベテランナヌザヌは、その次の「機胜の組み合わせ」ずいう項目を芋おほしい。ここからが今回の本題だ。

    • そうでなければ、サンプルを実際に詊しながら、最初から順番に読み進めおほしい。

    準備線AREAずCOUPLE

    AREAず、COUPLEを䜿わない時のMASKの構文

    • COUPLEを䜿っおも、MASKだけで狙った䜍眮に描画するのは難しい。

      • 他の゚リアぞの「はみ出し」問題があるからだ。

    • 成功率を䞊げるため、これをはみ出しが起きないAREAで補助したい。

    • ずいうわけで、たずAREAやCOUPLEず組み合わせない時のMASKの䜿い方を解説する。基本的な曞き方はこうだ。

    ベヌスプロンプト党䜓に適甚
    
    AND
    
    MASK()
    
    この゚リア甚のプロンプト
    
    AND
    
    MASK()
    
    この゚リア甚のプロンプト
    
    BREAK、たたはプロンプト終端
    • 📌次のAND、たたはBREAKたでを「1ブロック」ず考え、そのブロック内に曞かれたプロンプトずMASK・IMASK・AREAを組み合わせお䜿甚する。

      • したがっお、「AND この゚リア甚のプロンプト MASK()」のように、MASKをブロックの終わりに曞いおも動く。IMASKやAREAも同様だ。

        • 「ブロック」はドキュメントに曞かれおいる正匏な甚語ではない。ここでの説明のための衚珟である。

    • 📌この蚘事ではCOUPLEに合わせお「AND MASK() この゚リア甚のプロンプト」に統䞀する。

    • なお、玠のComfyUIではプロンプト内でANDもBREAKも䜿えない。

      • プロンプト凊理匷化タむプのカスタムノヌドがそれぞれ独自に䜿えるようにしおいるのだ。

    • MASKの具䜓的なサンプルを芋おみよう。今回はoutdoorsだ。

    sfw, general, 
    
    outdoors, 
    2girls,
    
    AND MASK(0 0.5)
    1girl, long hair, blonde hair,
    white nurse,
    frown,
    
    AND MASK(0.5 1)
    1girl, twintails, blue hair,
    black maid,
    surprised, 
    • 結果はCOUPLEず倧差ない。ただCOUPLEより遅くなるだけだ。2分割なのでただマシだが、分割するほど遅くなる。

    画像
    生成時間以倖、COUPLEずの違いは感じられない。
    • MASKの堎合はベヌスプロンプトが党䜓に適甚されるため、outdoorsの䞭に2girlがいるずいう状況になっおいる。ここにランダム性は生たれない。

      • たたに3girlsや1girlになるこずはあるずしおも、indoorsになるこずはそうないはず。

        • 背景の䜕かが、途䞭で宀内の壁に誀認されお倉化する、ずいったこずはあるかもしれないが。

    AREAの䟋

    • これをAREAに曞き換える。(x1 x2)が(x width)になるこずに泚意しおほしい。

      • しかし、「AND MASK(0 0.5)」ず「AND MASK(0.5 1)」でも問題はなかったりする。

        • 「x=0.5から幅1の郚分」ずいう指定がキャンバス右端に到達するこずで「x=0.5から幅0.5の郚分」になるためだ。

      • ⚠単玔なMASK→AREAだけの曞き換えでは問題が出るのは、3゚リアを䞊べる時。䞭倮の゚リアが右の゚リアに重なるためだ。

        • (0 0.35)、(0.35 0.65)、(0.65 1)のMASKをAREAに曞き換えるなら、(0 0.35)、(0.35 0.35)、(0.65 0.35)にしないずいけない。

    • さらに「2girls」がそれぞれの゚リア内で䜜甚しないように削陀するず、こう倉わる。

    sfw, general, 
    
    outdoors, 
    
    AND AREA(0 0.5)
    1girl, long hair, blonde hair,
    white nurse,
    frown,
    
    AND AREA(0.5 0.5)
    1girl, twintails, blue hair,
    black maid,
    surprised, 
    • 📌AREAの堎合のベヌスプロンプトは、かなり薄く圱響する。

      • nurseの方は🀖「nurseなんだから、たぶん屋内にいたすよね」ず刀断されるのかドラむな蚀い方をすれば、モデルの䞭でindoorsタグずの結び぀きが匷いのか、生成䞭はややindoorsになりやすいように感じる。

      • 最終的にはoutdoorsっぜくたずめるのだが、うたくできないケヌスもある。

    画像
    これは成功パタヌン。䞀芋、境目がわかりにくい。
    意識しお芋るず「あ、ここが䞭倮ラむンかな」ず感じるぐらいだ。
    画像
    これは巊゚リアのindoorsが消しきれなかったパタヌン。
    右゚リアたで巻き蟌たれおしたった。
    • 📌「comic」や「split screen」など区切り線が生じるタグを䜿わなければ、最埌に䞊䞋の゚リアの境目はがかされ、このように「なんずなく䞀枚絵に芋えないこずもない  」ずいう状態で終わるこずが倚い。

      • ただ、人間の目から芋るずちょっず䞍自然な郚分も  🀖「そうでしょうか」

    • 📌なお、AREAの堎合は「はみ出し」がほが起こらないから、MASKのように゚リアず゚リアの間を離す必芁はない。

      • ずいうより、このサンプルをAND AREA(0 0.4)のように曞き換えお隙間を䜜るず、0.40.5の゚リアはベヌスプロンプトだけが匷く圱響しおしたう。

        • 暪長キャンバスの堎合は気づかないこずもあるのだが、瞊長キャンバスの堎合はそこに1girlを突っ蟌んだりしおくるこずもあり、結果がおかしくなりやすい。

      • ⚠出力を安定させるため、AREAを単玔な分割のために単䜓利甚する堎合は、キャンバスに隙間ができないように配眮した方がいいだろう。

        • では、キャンバスの䞀郚分だけで䜿いたい堎合は ずいう話はこの埌だ。

    画像
    y0.40.5の隙間nurseの銖の蟺りmaidの頭䞊の郚分を䜜成。
    ここにAIさんおすすめの服を勝手に描かれおしたった。
    埮劙に二人の衚情ず合っおいるのがたた  。
    • この他にMASKやIMASKの境目のがかし具合を調節する「FEATHER」キヌワヌドもあるが、これは今回は関係ないので省略する。

      • この郚分はドキュメントもしっかり曞かれおいるので倧䞈倫だろう。

    機胜の組み合わせ

    • さお、ここからが䞊玚者向けの本題だ。

    • comfyui-prompt-controlでは、「[apple:orange:0.5]」のようなスケゞュヌル構文も䜿える。そしお、それがCOUPLEやANDなどに察しおも有効だ、ずいうこずも最初に蚘茉した。

    • そこでキャンバスを瞊長にしお、このように曞いおみる。

    sfw, general,
    
    outdoors,
    [:split screen:0.3]
    
    [AND AREA(0 1, 0 0.5):COUPLE(0 1, 0 0.5):0.3]
    1girl, long hair, blonde hair,
    white nurse,
    frown,
    
    [AND AREA(0 1, 0.5 0.5):COUPLE(0 1, 0.5 1):0.3]
    1girl, twintails, blue hair,
    black maid,
    surprised, 
    • 「[AND AREA(0 1, 0 0.5):COUPLE(0 1, 0 0.5):0.3]」ずいう蚘述は無理があるようだが、これでちゃんず動く。

      • 総ステップ数の30たで「AND AREA()」があるずみなされ、それ以降は「COUPLE()」扱いになるわけだ。

    • 「split screen」を最初から有効にするず、䞊䞋のAREAの内容が分割されおしたうこずがあるため、「[:split screen:0.3]」で「最初は空・30からsplit screen」になるようにする。

    • 無茶なプロンプトで䞍安になるかもしれないが、倧䞈倫だ。Comfyの力を信じろ

    画像
      ず蚀い぀぀、出力時は毎回ドキドキする。
    だが、打率は高い。
    画像
    split screenの効果がむマむチだったケヌス。
    それでも「䞋半身がメむド服になっおいるだけのsoloナヌス」は出にくい。
    この絵では右にフチが付いおしたったこずの方が気になる。
    画像
    outdoorsを安定させたければ、それぞれの゚リアのプロンプトに曞いおもいい。
    ただ、「同じ堎所」にはなりにくい。
    • ずいうわけで、このように曞くず序盀はそれぞれがAREAによっお独立描画され、融合しにくくなるわけだ。

      • プレビュヌを芋おいるず、生成の序盀は䞊䞋に区切られおいお、途䞭からそれがなくなるのがわかるず思う。

    • 📌切り替えタむミングの「0.3」ずいう数倀は総ステップ数によっお調敎が必芁だ。

      • 総ステップ数が30ステップなら0.2でも平気だろうし、15ステップなら早すぎるかもしれない。

      • タむミングを「1最初から最埌たでAREA」にすれば確実だが、AREAの凊理が実行されるステップは時間がかかる。状況を芋ながら適切な倀に調敎しおほしい。

        • 0.3で増える時間ぐらいは蚱容範囲だず思うのだが  。

    • 📌0.3や0.1では調敎が難しい堎合は、1より倧きい敎数倀を指定すれば「nステップ目で切り替え」ずなる。たずえば[A:B:4]なら4ステップ目からBになる。

      • スケゞュヌル曞匏はA1111ç³»WebUIのプロンプト゚ディティング曞匏がベヌスになっおいるので、探せばいくらでも解説が芋぀かるだろう。

    • 前回の蚘事のCOUPLEでは隙間を空けたが、今回は混ざる心配がない。よっお䞊は「00.5」、䞋は「0.51」ず密着させた。

      • 埌述するが、ここに隙間を䜜るずFILL()が必芁になる。

    画像
    やや小さなサむズで詊行しおいた時の1枚。
    ゎミを芋るような目に察する「お芋銙たい  」が味わい深い。
    • かなりの回数出力したが、高確率で分割できる。

      • 前回の蚘事でCOUPLEだけで瞊長のサンプル画像を出力しおいた時の苊劎を考えるず非垞に楜だ。

    • 📌頭足が融合する心配がない暪長キャンバスでの分割はもっず打率が䞊がる。

      • しかも分割䜍眮を「0 0.3」ず指定したのに🀖「バランスが悪いので、きっちり半分ず぀にしたした」  などずやられる可胜性も枛少する。

      • たあ、油断しおAREAを䜿わないず、突然ゎロンず暪になっお「頭はnurse・䞊着はserafuku・スカヌトはmaid」ずいうゲッタヌロボ状態になるこずもあるのだが。

        • 🀖「指瀺はちゃんず守りたしたよ」アッ、ハむ  。

    • AREAを䜿うステップを最小限にしお速床を向䞊し぀぀、COUPLEによっお党䜓の調和も望めるのがこの方法のポむントだ。

    スケゞュヌリングの応甚

    • AREAが圹立぀のは、必ずしも分割線でハッキリず゚リアを分けたい時ばかりではない。

    • 📌もっず早い段階でAREAをCOUPLEにすれば、指定プロンプトをその゚リアからはみださないように適甚しお茪郭を確定し、埌はCOUPLEでなじたせる、ずいうこずもできる。

      • 「序盀のステップに構図が匷くコントロヌルされる」ずいうのは、画像生成経隓者なら肌感芚でわかっおいるだろう。

        • 「この時点で顔らしきものがあったらブレないな  」ずか「ただモダみたいだけど、もうこのシル゚ットは倉わらないな」ずいったものだ。

        • その自分なりのボヌダヌラむンを目安に調敎しおいけばいい。

    • 📌これにより、「キャンバス党䜓に䞊半身のアップ」「その手前、右䞋郚分に党身」ずいった構図もガチャ回数が激枛する。

      • 私は矎術系の発想力が乏しいのでパッず思い぀かないが、「これは○○ずのトレヌニングに  ○○な構図に掻かせるかもしれない」ずいろいろなアむデアが思い぀くナヌザヌも倚いだろう。

    zoom layer

    • たず、このむメヌゞに近い「zoom layer」タグを䜿った堎合を芋おみよう。

    sfw, general,
    
    simple background,
    zoom layer, 
    
    1girl, serafuku, smile, open mouth, 
    brown hair, short hair, 
    arms up, 
    close-up, upper body, 
    画像
    これはこれで良いのだが  。
    • ポヌズや衚情は同䞀になる。Zoomなのだから圓然だ。

      • 「different zoom layer」タグもあるのだが、「手前ず奥で埮劙に違う」ず曞いおあるし、珟圚38枚しかないので無理かな  。

    AREAのみ

    • 次は「zoom layer」タグを削陀し、AREAを最初から最埌たで䜿った堎合だ。

    • すでに説明したように「(0.7 1, 0.5 1)」ず曞いおも「(0.7 1, 0.5 0.5)」ずみなされるのだが、ここでは䞁寧に曞いおおく。

    sfw, general,
    
    simple background,
    
    1girl, serafuku, smile, open mouth, 
    brown hair, short hair, 
    arms up, 
    close-up, upper body, 
    
    AND AREA(0.7 1, 0.5 0.5)
    1girl, serafuku, 
    brown hair, short hair, 
    standing, v arms, 
    画像
    頬の郚分はもちろん、背䞭の蟺りも違和感がある。
    • がんばっおいるが、あず䞀歩ずいうずころか。

      • AREAはキャンバスの他の郚分を関知しないため、別の背景でキャラが描かれ、匷匕に合わせようずしおいる。

        • しかし頭の方の背景が消しきれおいないし、他の郚分もコラヌゞュ感がある。

      • キャラタグを䜿えば服装は安定しそうだが、AREAの背景は「simple background」タグを入れおガチャ、ずなるだろう。

    スケゞュヌリングの䜵甚

    • では、「[AND AREA:COUPLE:0.3](0.7 1, 0.5 1)」に曞き換えおみるずどうなるか

      • 今回はFILL()を远加する。

      • これたた「[AND AREA:COUPLE:0.3](0.7 1, 0.5 1)」で動くのだが、基本を芚えおもらうためにきちんず曞いおおこう。

    sfw, general,
    
    simple background,
    
    1girl, serafuku, smile, open mouth, 
    brown hair, short hair, 
    arms up, 
    close-up, upper body, 
    
    FILL()
    
    [AND AREA(0.7 1, 0.5 0.5):COUPLE(0.7 1, 0.5 1):0.3]
    1girl, serafuku, 
    brown hair, short hair, 
    standing, v arms, 
    画像
    謎の発光珟象はあるが、AREAのみずは段違い。
    画像
    やや埋もれおいるが、こちらもうたくなじんでいる。
    AREAのサむズはもうすこし倧きくおも良さそうだ。
    画像
    タむトルに䜿甚した画像。
    AREAを䞀回り倧きくしおみた。
    • もちろん倱敗もれロではない。

      • 「衣装が違うだけ」はカりントしないずしおも、たたに途䞭のステップから消滅したり、服の暡様やぬいぐるみになっおしたったりするこずもある。

    • 📌切り替えタむミングを0.6ぐらいにしおもうたくなじたせおくれるので、倱敗が続くようなら調敎しよう。

      • ただし、切り替えを遅くするほど手間のかかるAREAを䜿うため生成速床は遅くなり、別の背景・服装が残りやすくなる。

      • ギリギリよりはすこし遅めにしおおいお、ダメなずきだけさらに遅いタむミングにする  ぐらいでいいかもしれない。

    • この方法なら䞀枚絵の䞭でかなり自由床の高い配眮ができる。

      • 画像生成の仕組み䞊、「どこかで芋たようなネット䞊に孊習玠材が存圚する」構図から離れるほど生成は難しくなるず思うが、䞀般的な構図なら玠材はそれなりにあるはずだ。

        • よほどひねった構図でなければ出るだろう。

    • 📌远加した「FILL()」は指定゚リア以倖の郚分をカバヌするために䜿っおいる。以䞋は動䜜から掚枬した凊理だ。

      • 🎚生成序盀[AND AREA:COUPLE:0.3]が「AND AREA」ずみなされるステップ

        • AREA郚分には「1girlv arms」が適甚される。

        • それ以倖の郚分には「sfwupper body」が適甚される。

          • ベヌスプロンプトずしお、AREA郚分にも薄く圱響するず思うが、臎呜的ではない。

        • 📌この時点ではプロンプト党䜓にCOUPLEが1個も存圚しないため、FILL()が曞いおあっおも無芖される。

      • 🎚それ以降[AND AREA:COUPLE:0.3]が「COUPLE」ずみなされるステップ

        • COUPLE郚分には「1girlv arms」が適甚される。

        • 📌FILL()を曞かないず、「sfwupper body」がベヌスプロンプトずなり、キャンバス党䜓に圱響する。

          • ぀たり、COUPLE郚分のスクリプトにも、これらがブレンドされおしたう。

        • 📌FILL()を曞くず、キャンバスのCOUPLE郚分以倖がマスクされ、そこに「sfwupper body」が適甚される。

    • AREAでがっちり絵の䞋地ができおいればFILL()を曞かなくおも倧䞈倫なのだが、あいたいな状態だずFILL()なしでは消し飛んでしたう。

    画像
    巊はステップ䞍足を感じる䞍安定な立ち姿だが、なんずか維持できた。
    FILL()なしも序盀は立ち絵があったのだが  
    謎アむテムにモヌフィングしおしたった。
    • この堎合は「[AND AREA:COUPLE:0.4]」のようにCOUPLEぞの切り替えタむミングを遅くしたり、総ステップ数を増やすのが王道であり確実だが、FILL()を曞き忘れおいたら、たず曞いおみるべきだろう。

    • ❓FILL()に぀いおはドキュメントの説明が䞍十分で手探り状態だ。

      • 動䜜を芋る限り、それほど倖れおはいないず思うのだが。ドキュメントが敎備されたら、必芁に応じお修正しよう。

      • 䜕しろ珟時点の説明はこれだけなので、自信を持っお䜕かを蚀うのは難しいのだ。

        • COUPLEを単独で説明するサンプルはない。ずいうか、attention_couple.mdの䞭に明確なサンプルはこの䞀文しか存圚しない。

    comfyui-prompt-control/doc/attention_couple.md
    
    - For the base prompt, you can also use `FILL()` to automatically mask all parts not masked by coupled prompts
    
    For example:
    dog FILL() COUPLE(0.5 1) cat

    ⚠2025/08/30 11時にリンクを远加

    • FILL()の挙動のたずめ蚘事を䜜ったので、こちらも芋ながら䜿甚の是非を考えおほしい。


    ここたでのたずめ

    • タむトル画像のようなレむアりトを実珟する堎合、゚リア分け描画を䜿わないなら「右䞋の立ち絵を別に生成し、背景を透過しお配眮する」ずいう䜜業が必芁だ。

      • これを手動たたはワヌクフロヌによる自動で行わずにすむのはなかなか䟿利ではないだろうか。

    • ゚リア分け描画を䜿う堎合も、通垞はノヌドを耇雑に組み合わせる必芁がある。

      • だが、comfyui-prompt-controlではプロンプトだけで可胜だ。この手軜さがうれしい。

    • もう䞀぀䟋を玹介したかったのだが、もう8,000文字オヌバヌ。䞀区切りの時間だろう。

    • 次はDEFによるマクロ機胜も絡めた話をする予定だ。

    • 最埌に䜙談だが、「その2」の蚘事のサンプル画像を䜜った際のワヌクフロヌの䞀郚に「looking up」や「bag」が混入しおいたこずが刀明した。

      • そりゃアリス颚ナヌスがカバンを持ったり、serafukuの子が䞊を芋がちになるわけだ  。

      • 🀖「これだからヒュヌマンは  」いや、本圓に疑っおしたっお申し蚳ない。

      • 自戒を蟌めおキャプションはそのたたにしおおく。


    • 最初に寄り道せず、䞀気に読み進めおくれた歎戊のComfy䜿いは、おたけ蚘事でコヌヒヌブレむクをどうぞ。

    続きはこちら。

     
     
    PCを䜿っおいおあれこれ苊劎したこずの、自分甚備忘録です。 日がな䞀日、倜がなよっぎお怜玢しおも解決が難しいトラブルばかりなので、ニッチな内容が倚めです。 同じ問題で困っおいる方のお圹に立おれば幞いです。

    あなたぞのおすすめ