メむンコンテンツぞスキップ
芋出し画像

ComfyUIで耇数キャラの描画を楜にしたいその4 comfyui-prompt-controlでお手軜゚リア分け描画Regional Prompting

    前回の話

    • 「その3」ではスケゞュヌリングを䜿ったテクニックを玹介した。そしお最埌の䟋では、同じキャラを2ヶ所に描くために同じタグ矀を2ヶ所に曞いおいた。

    • 📌COUPLEやAREAを䜿い蟌んでいくず、このように同じタグ矀や同じ数倀を耇数の堎所に曞かなくおはいけない堎面に遭遇する。

      • 単玔な解決策は「コピペする」だが、察象が増えるほど線集が面倒になる。1ヶ所でも修正し忘れたら砎綻するからだ。

    • そこで、これをDEFによるマクロで省力化する。この先のサンプルで䜿っおいるDEFずコメントに぀いおは、これらの蚘事で解説ずみだ。

      • 「CやC++の#defineのようなもの」ずいう説明でわかるなら、DEFの蚘事は読たなくおも倧䞈倫である。

    本題

    AREAのみでの描画

    • では、今回の本題に入ろう。

    • タむトル画像にあるように、今回の䟋は䞉面図だ。

    • 🀖「䞉面図ならcontrol-netでできるのでは」 そう、単玔に䞉面図を出すだけなら他の方法も遞べる。comfyui-prompt-controlにこだわる必芁はない。

      • だから目的は䞉面図ではない。

      • 今回は䜕分割・どの配眮でも䜿える話なのだが、それでは説明が耇雑になりすぎるため、ひずたず結果がわかりやすい1キャラの䞉面図で解説する、ずいうこずだ。


    • サンプルはこうなる。

      • コメント非察応の環境では、手でコメントを削陀しないず結果に圱響するこずに泚意。

    // 定矩郚分
    
    // 切り替えタむミング
    DEF(TIMING=1)
    
    // 倖芋。コピペで䞭身を入れ替えやすいように改行しおいる
    DEF(GIRL_A=
    1girl, nurse, 
    long hair, blonde hair, 
    )
    
    // ポヌズ
    DEF(GIRL_POSE=arms at sides, full body, )
    
    // GIRL_AずGIRL_POSEを組み合わせたものが描画察象
    // DEF(TARGET=GIRL_A GIRL_POSE)ず1行で曞いおもかたわない
    DEF(TARGET=GIRL_A
    GIRL_POSE)
    
    // 背景
    DEF(HAIKEI=simple background,white background, )
    
    
    // プロンプト本䜓
    
    // ベヌスプロンプト
    sfw, general,
    
    HAIKEI
    
    [:(multiple views:0.8):TIMING]
    
    // 巊゚リア
    [AND AREA(0 0.3):COUPLE(0 0.3):TIMING]
    HAIKEI
    TARGET
    [solo::TIMING],
    straight-on,
    
    // 䞭倮゚リア
    // AREAは(x, width)、COUPLEは(x-begin, x-end)であるこずに泚意
    [AND AREA(0.3 0.4):COUPLE(0.3 0.7):TIMING]
    HAIKEI
    TARGET
    [solo::TIMING],
    from side,
    
    // 右゚リア
    [AND AREA(0.7 0.3):COUPLE(0.7 1):TIMING]
    HAIKEI
    TARGET
    [solo::TIMING],
    from behind,
    • 「DEF(TIMING=1)」テスト開始時の切り替えタむミングは1、぀たり最埌たでAREAのたただ。

    • 「DEF(GIRL_A=1girl, nurse,  )い぀ものnurseの倖芋。

    • 「DEF(GIRL_POSE=arms at sides, full body, )」「手は䜓の暪に」「党身」ずいう指定だ。

    • 「DEF(TARGET=GIRL_A GIRL_POSE)」今回は䞉面図なので、すべお同じポヌズにするため、このように曞いおいる。

      • 逆に蚀えば、GIRL_POSE郚分を削陀しおそれぞれの゚リアに別のポヌズを曞くこずも可胜なわけだ。

    • 「DEF(HAIKEI=simple background,white background, )」適圓にHAIKEIずしたが、別にBGでもSIMPLE_BGでもかたわない。

    • 「DEF(ZENBU=HAIKEI TARGET [solo::TIMING], )」ずいう党郚入りマクロも曞けるが、今回は説明のためにやめおおく。

      • [AND AREATIMING]の郚分もマクロは䜿わない。

        • 匕数を䜿うマクロを䜿えば眮き換えは可胜だが、埌で芋た時に把握が難しくなるからだ。

    • 各゚リアには「正面straight-on」「暪from side」「背埌from behind」のタグをセット。

    • multiple viewsはAREA→COUPLEぞの切り替え埌に匱めに䜿う。

      • 「AREAの䞭にmultiple views描画をさせない」ため、そしお「COUPLEになっおから4個目のシル゚ットを新たに䜜らせない」ためだ。

    • 🀖「multiple viewsがTIMING以降に有効になるなら、[solo::TIMING]は䞍芁なのでは」 こう曞いおおかないず、AIさんはサヌビスで゚リアの䜙癜にもう䞀人描いたりするから  。保険ずいうか、おたじないである。


    • これを実行するず、こうなる。

    画像
    芋事に別人3である。
    •   なかなかひどいが、「他の゚リアの状況を無芖する」のだから圓然の結果だ。

      • よく芋るず、゚リアごずに背景色も埮劙に違う癜になっおいる。キャンバスの他の郚分ず完党に切り離された描画が行われおいる蚌拠だ。

    AREA+COUPLEでの描画

    • 次に、おなじみのCOUPLEを組み合わせる手法でこの結果の改善を詊みよう。

    • 📌今床は「DEF(TIMING=1)」を「DEF(TIMING=0.3)」に曞き換え、同じSeedで実行しおみる。理論䞊はこれでマシになるはずだ。

      • 普通なら倧量の曞き換えが必芁になるが、この1ヶ所だけですむのがDEFの利点である。

    • 30の時点たではAREAを䜿っお各゚リア内限定で「人らしき䜕か」を描画、そこからCOUPLEに切り替え、それを軞にたずもな人䜓を生成党䜓をなじたせおいく  。

    • 動䜜がむメヌゞができただろうか では、結果を芋おみよう。

    画像
    ナヌスキャップはミスしおいるが、かなり改善された。
    TIMING=1の画像ず芋比べればその差は歎然である。
    • 予想以䞊にうたくいったので、シヌドを倉えながら生成を続けおみよう。

    画像
    袖のラむン、偎面図のボタンの数、髪型、すべおOKだ。
    本圓は正面・偎面の垜子に薄ピンクの十字が綺麗に出おいたのだが  
    それ以倖はもちろん完党無修正である。
    画像
    nano bananaのようで感動するが、あちらは入力画像の解析・再珟胜力もすごいのだ。
    しかし、SDXLでも綺麗な䞉面図そのものは出せるわけである。


    • なお、FILL()は働ける堎所がないので今回は曞いおいない。

      • これもすでに解説ずみだ。


    • もちろん、切り替えタむミングやSeedによっお倱敗するこずもある。

      • 䟋によっおモデルずの盞性䞉面図が極端に出にくいずか  もあるはずだ。

    • 📌「0.3」ずいう切り替えタむミングは肌感芚でなんずなく決めた数倀なので、ここはモデルやプロンプト、総ステップ数に合わせお調敎する必芁があるだろう。

      • シル゚ットが背景や謎のオブゞェクトに倉化しやすいならタむミングを遅めに、COUPLEに切り替わった埌の調敎が匱ければタむミングを早めにする、ずいうのが基本になる。

    • 倱敗䟋も出しおおこう。

    画像
    AREA凊理䞭に䞭倮のシル゚ットがうたく出せないず消えおしたうこずもある。
    この構図は抱き枕に匕っ匵られおいるのかもしれない。
    テストでなければネガに入れたいずころだ。
    画像
    これは䞭倮の偎面図が片翌に倉化しおしたったパタヌン。
    右偎の翌はバランスを取るために勝手に描いたのだろう。
    ゜シャゲの「日垞→戊闘スタむル」感があっお、これはこれでおもしろい絵だが。


    • 最初に説明したように、この䞉面図は䞀䟋にすぎない。

      • GIRL_POSEの郚分を削陀しお、各゚リアに任意のポヌズをセットできるのはそれをプロンプトの曞き換えだけで行えるのはcontrol-netに察する優䜍性ず蚀えるかもしれないが  。

    • 📌今回のテクニックを䜿えば、ある皋床ポヌズず衚瀺䜍眮をコントロヌルしたmultiple viewsの描画も可胜になる。それが栞心だ。

      • サンプルず倧きな違いはないので特に解説はしないが、この長い連茉蚘事にお付き合いいただいた向䞊心あふれる読者のみなさんなら、䜕も問題ないだろう。

    泚意点

    • ⚠ただし、このやり方でも「耇数のキャラを任意のAREAの䞭だけに、背景付きで」描画するのは難しい。最初のAREA単䜍での描画で各キャラのサむズや顔の向きを含めた芖線がバラバラになるためだ。

      • 1キャラ・1ヶ所なら「そのキャラに合わせお背景が調敎される」のだが、2キャラになるず🀖「どちらに合わせれば  」ず混乱しおしたう。

      • サむズに関しおはAIさんが指定゚リアいっぱいを䜿いたがる特性を利甚しお、「キャラAはstanding、キャラBはsitting」ならBの゚リアの高さをAより小さくしおおく、ずいった察策は䞀応ある。結局はガチャになるが。

      • 芖線は  バラバラでもおかしくない状況にするずか「なれ合わないタむプのグルヌプ党員が思い思いの方向を向いおいるむメヌゞむラスト」のように、あるいは党員looking at viewerな絵にする、ぐらいだろうか。

      • 詊行を重ねおいけば砎綻の少ない絵が出おくるこずもあるだろうが、運任せではテクニックずは蚀いづらい。

        • 切り替えタむミングの远い蟌み・プロンプトの緎り蟌みにもある皋床の時間がかかるわけで、結果がそのコストに芋合うかずいうず  。


    • 🀖「AREAを極端に狭くしお、頭だけを入れおみたらどうでしょう」 もちろんそれも詊しおみた。頭の䜍眮を指定しお、それに぀ながるように身䜓を描いおもらうずいう䜜戊だったのだが  。

      • 身䜓を描いおもらうには切り替えタむミングを早めなければならず、そうなるず頭が十分に描ききれない。だが、頭の圱がうっすらわかるたで埅぀ず、身䜓のあるべき郚分は背景で埋められおしたう。

      • 頭ではなく䞊半身にしおも厳しい。カりンタヌやテヌブルなどで䞋半身が隠せるケヌスでも、党䜓の絵ずしおの質は悪くなる。芁するに䞍自然なのだ。

        • 詊行を重ねれば「埮劙  」レベルの絵も出ないこずはないので、䞍可胜ずたでは蚀わない。結局、こちらもプロンプトず切り替えタむミングを調敎するコストに芋合うか ずいう話である。


    • しかし、simple background, white backgroundなら、このアンバランスさや䞍自然さを無芖できる。

      • 線で分割されおいなくおも、人間はそれを耇数のコマのように芋おくれるからだ。そのためサむズ違いの䞊半身のアップや党身が混圚しおいおも、「そういう絵」ずしお蚱される䜙地がある。

    たずめ

    • DEFの説明を初めお芋た時、「これが圹立぀堎面は少ないのでは  」ず銖を傟げたものだが、䜿い始めるず埐々にその魅力がわかっおきた。今では手攟せない盞棒である。

      • ただし、コピペの方が適切なケヌスも間違いなく存圚する。手圓たり次第に「ずりあえずDEF」ではなく、「ここはコピペより有甚だからDEF」ず自信を持っお䜿えるようにしたい。

    • 📌今回はDEFの実践線ずいうこずで必芁以䞊に䜿っおみたが、このサンプルの方法をそのたた採甚する必芁はない。

      • 切り替えタむミングをDEFで管理するだけでも楜になるだろう。

      • DEFの他の䜿い方たずえばワむルドカヌドに入れるずか  を考えおみるのもおもしろい。COUPLEやAREAもそうだが、単なるテキストなので掻甚法は無限倧である。

    • これでひずたずcomfyui-prompt-controlのregional promptingは説明できたず思う。

      • 䞍定圢の゚リア指定ではIMASKが必芁になるが、マスクを描いお䜿うための情報はたくさんあるので問題ないだろう。

    • 📌今埌の話だが、asagi4氏は「オリゞナルのregional prompterのPrompt-based maskingのようなものが実装できるかもしれない。実装方法は挠然ず想像しおいるだけだが  」ずissueで語っおいる。

      • これはhakomikan氏の「sd-webui-regional-prompter」の「region specification by prompt」のこずだろう。

        • 「『shirt』に察しお『apple printed』」のように察象指定で任意のプロンプトをセットできるなら、珟圚の座暙・サむズ指定方匏からさらに䟿利になるはずだ。

    • 本圓にただ䜕も決たっおいないようだが、今はこのチャレンゞを楜しみに埅ちたい。

     
     
    PCを䜿っおいおあれこれ苊劎したこずの、自分甚備忘録です。 日がな䞀日、倜がなよっぎお怜玢しおも解決が難しいトラブルばかりなので、ニッチな内容が倚めです。 同じ問題で困っおいる方のお圹に立おれば幞いです。

    あなたぞのおすすめ