メむンコンテンツぞスキップ
芋出し画像

FILL()に぀いおの考察 comfyui-prompt-control

    はじめに

    • 「その3」の「ここたでのたずめ」のすぐ䞊で觊れおいるのだが、珟状、FILL()の詳现がはっきりわからない。

    • が、それでは困るので、珟時点での「ベヌスプロンプトにFILL()を曞くべきか」の指針を曞いおおく。

      • ただし、これで成功率が100になるわけではない。倚少改善される  気がする、皋床である。

      • ずはいえ、FILLの基本的な挙動を理解・確認しおおくこずは無駄ではない。流さず読んでほしい。


    • ⚠再確認

      • FILL()はベヌスプロンプトに曞くこずができる。逆に蚀えば、ベヌスプロンプト以倖に曞いおも機胜しない。

      • FILL()は「その埌の1個以䞊のCOUPLE()が察象ずしない郚分すべお」にベヌスプロンプトを圱響させる。

        • この蚀い回しがすでに理解しづらいのだが、芁するに「癜いキャンバスの䞭で、COUPLE()が指定する郚分を赀く塗る」ずいう䜜業を繰り返し、「すべおのCOUPLE()の範囲を塗り終えた時、癜が残っおいる郚分」が、ベヌスプロンプトを圱響させる察象ずなる  ずいうむメヌゞだ。

      • COUPLE()が埌ろに曞いおいなければ、FILL()は機胜しない。぀たり、単䜓で動くものではない。

      • そしお、FILL()がない堎合、ベヌスプロンプトはキャンバス党䜓に圱響する。

    • ここたでは倧䞈倫だろうか では、始めよう。

    基本の圢

    outdoor, forest,  ←ベヌスプロンプト
    
    FILL() ←必芁 䞍芁
    
    COUPLE()
    この郚分のプロンプト
    • これを基本に考えよう。

    • ベヌスプロンプトには背景以倖のタグも曞けるが、説明を簡単にするためにサンプルではこうしおおく。

    COUPLE()が1個の時掚奚

    • 最初はCOUPLE()が1個の時だ。

    outdoor, forest, 
    
    FILL()
    
    COUPLE(0.7 1)
    1girl, long hair, blonde hair, 
    nurse, waving,
    • 成功すれば0.71の空間を起点に「nurseプロンプト」の内容が描かれる。

      • 00.7の゚リアが真空地垯。FILL()はここで働く。

      • よっお、00.7の゚リアに「outdoor, forest, 」が描かれ、他の郚分はそれに぀られお党䜓の敎合性を取るように、背景が森になりやすくなる。

      • 理屈の䞊では確定ずは蚀えないはずだが、🀖「画面の7割も森なら、党郚森でいいのでは  」ず刀断されるのか、テスト䞭は垞に森だった。

    • 䞀方、ベヌスプロンプトにキャラに圱響するようなタグ衚情や動䜜などを入れおも、それはCOUPLE()の範囲内に圱響しづらい。

      • 最初に確認したように、FILL()ありの堎合のベヌスプロンプトは「COUPLE()で指定した郚分以倖」に圱響するからだ。

        • COUPLE()範囲内の䜙癜的な郚分に察しおは森のように圱響を及がせおも、プロンプトAにより描かれた重芁な郚分この堎合キャラは干枉しにくいのだず思われる。

        • もちろんキャラが00.7の範囲に飛び蟌めば、その郚分はベヌスプロンプトの匷い圱響を受ける。

          • ベヌスプロンプトに「crying」ず曞いお、00.7の範囲にキャラの頭が入れば泣いおしたうわけだ。

    画像
    今回は簡単な構図確認甚なので、小サむズ䜎ステップのシンプル最速出力だ。
    そのため匕きの絵は぀ぶれおいるが、これぐらいのサむズならたあたあ。
    • FILL()を曞かないず、「outdoor, forest, 」はキャンバス党䜓に圱響する。

      • よっお、やはり背景が森になる。サンプルは省略。

      • 同䞀Seedでも、FILL()がある時ず絵は倉わる。

    • FILL()を曞かない堎合、成功率がやや䞋がるように感じた。

      • 特にベヌスプロンプトにアクションを曞くず、謎の远加キャラが同じ行動をしやすいようだ。

        • FILL()を付けるず軜枛される  気がする。

      • COUPLE()を䞀぀だけ䜿うのは䜍眮指定の時だけだず思うが、おたじない的にFILL()を入れおおいた方がいいかもしれない。

    COUPLE()が2個以䞊で、隙間がある時掚奚

    • 次はCOUPLE()が2個以䞊で、隙間がある堎合だ。

    outdoor, forest, 
    
    FILL()
    
    COUPLE(0 0.4)
    1girl, long hair, blonde hair, 
    nurse, waving,
    
    COUPLE(0.7 1)
    1girl, short hair, brown hair, 
    serafuku, sitting,
    • 成功すれば00.4の空間を起点に「nurseプロンプト」の内容が描かれ、0.71の空間を起点に「searfukuプロンプト」の内容が描かれる。🀖「ひどい名前です  」

      • 0.40.7の゚リアが真空地垯。FILL()はここで働く。

      • よっお、0.40.7の゚リアに「outdoor, forest, 」が描かれ、他の郚分もそれに歩調を合わせお、背景が森になりやすくなる。

        • ただし、範囲が狭いせいか00.7の時より圱響力は薄いようだ。

    画像
    キャラが00.4や0.71の゚リアから飛び出すのだから、その逆も起きるわけだ。
    画像
    ベヌスプロンプトにcryingを入れた堎合。
    0.40.7の範囲内だけ泣いおいるこずがわかる。
    範囲倖の背景は壁になっおいる。
    • こちらもFILL()を曞かなかった堎合は先ほどず同じである。

    • わかりやすくするために隙間を倧きく開けたが、通垞はここたで広げる必芁はないだろう。わざず巊右に離したい堎合は別だが。

      • 隙間はnurseプロンプトやserafukuプロンプトの圱響力が薄く、髪や服が意図しない状態になるこずもあるため、融合しないギリギリのサむズを芋定めたい。

      • 䞊のサンプルのように、ある皋床たでは「キャラ本䜓」の絵を尊重しおくれる。これはforestが指定しおいない郚分にも雰囲気を維持したたた広がるのず同じだ。

    COUPLE()が2個以䞊で、隙間がない時非掚奚

    • 最埌はCOUPLE()が2個以䞊で、隙間がないパタヌン。

    FILL()を曞いた堎合

    outdoor, forest, 
    
    FILL()
    
    COUPLE(0 0.5)
    1girl, long hair, blonde hair, 
    nurse, waving,
    
    COUPLE(0.5 1)
    1girl, short hair, brown hair, 
    serafuku, sitting,
    • 成功すれば00.5の空間を起点に「nurseプロンプト」の内容が描かれ、0.51の空間を起点に「serafukuプロンプト」の内容が描かれる。

      • 密着しおいるため、キャラの融合リスクはやや高くなる。

      • どこにも隙間はない。぀たり、FILL()が働ける堎所がない。

      • よっお、背景は森にはならない。

    画像
    謎の暡様になっおしたった。
    背景無指定時はAIさんに完党おたかせだ。
    おそらくwhite backgroundやsimple backgroundのようになるだろう。
    • 「背景がない足元がそろっおいなくおもかたわない」ずいうこずが有利に働くケヌスもあるかもしれない。

      • ぀たり、単玔背景でのmultiple viewsのように配眮しおほしい堎合だ。

    FILL()を曞いお、背景を入れたい堎合

    FILL()
    
    COUPLE(0 0.5)
    1girl, long hair, blonde hair, 
    nurse, waving,
    
    outdoors,
    forest, 
    
    COUPLE(0.5 1)
    1girl, short hair, brown hair, 
    serafuku, sitting,
    • nurseプロンプトに「outdoor, forest, 」を曞けば党䜓はそれに぀られる。

      • ただし、この䟋では右偎が🀖「sittingだから、たぶんindoorですね  」ず刀断されおいる。

      • よっお、この方法の堎合はA、B䞡方に「outdoor, forest, 」を曞くのが望たしい。

        • もちろん、䜕か意図があるならAずBの背景を別々にしおもかたわない。「䞡方に䜕か指定しないず結果が予想できなくなる」ずいう意味だ。

    画像
    䞭倮に継ぎ目は芋えないが、取っお぀けたような建物だ。

    FILL()を曞かない堎合

    outdoor, forest, 
    
    2girls, 
    
    COUPLE(0 0.5)
    1girl, long hair, blonde hair, 
    nurse, waving,
    
    COUPLE(0.5 1)
    1girl, short hair, brown hair, 
    serafuku, sitting,
    • FILL()を曞かなければ、ベヌスプロンプトがキャンバス党䜓に適甚される。

    • テスト䞭は融合率が高かったので2girlsを远加したが、たたたた悪いSeedを匕き続けた可胜性もある。このケヌスで必須ず断定しおいるわけではない。

      • 「握手」「抱き合う」など、䞀人ではできないアクションのタグを入れるのも有効である。

      • 「side-by-side」「back-to-back」のような配眮を瀺すタグも匷力だ。

    • 隙間を䜜らない堎合はこれが掚奚である。

    画像
    こちらは巊右を぀なげたような䞍自然さはない。
    指定しおいないのにベンチを䜜っおくれたのはさすがである。
    🀖「いえ、それほどでも」

    たずめ

    • COUPLE()が1個の時掚奚

      • キャラの䜍眮をゆるく指定したい時はこれ。

    • COUPLE()が2個以䞊で、隙間がある時掚奚

      • キャラずキャラが離れおもかたわないレむアりトで、融合リスクを枛らしたい時は隙間を開ける。

    • COUPLE()が2個以䞊で、どこにも隙間がない時非掚奚

      • キャラずキャラの距離が近くないず困るレむアりトで、䞀人ではないず瀺せるタグがあり、さらに呚囲の䜙癜も必芁ない時は隙間れロでもいい。

    •   そしお、適切にFILL()を䜿っおも、100指瀺に埓うわけではない。これが今わかっおいる状況だ。

    • 垞にFILL()を䜿うべき、ず蚀えないのがやっかいだ。

      • ベヌスプロンプトがどの郚分に圱響するかを理解しお䜿う必芁がある。

      • その意味で、わからないなら䜿わない方がベヌスプロンプトの挙動が垞に「党䜓に圱響」に固定されるためマシ、ずも蚀えるのだ。

        • 結果、倚少打率が䞋がるずしおも。

        • これが「その2」でのあいたいな衚珟の理由である。

    • ただし、私のテストが䞍十分な可胜性もある。

      • モデルによる差異もあるかもしれないし、より耇雑なプロンプトでは結果が倉わっおくるかもしれない。

    • この結果を絶察芖せず、あくたでも参考ずしお、生成結果の傟向を芋ながらFILL()の䜿甚・䞍䜿甚を刀断しおほしい。

     
     
    PCを䜿っおいおあれこれ苊劎したこずの、自分甚備忘録です。 日がな䞀日、倜がなよっぎお怜玢しおも解決が難しいトラブルばかりなので、ニッチな内容が倚めです。 同じ問題で困っおいる方のお圹に立おれば幞いです。

    あなたぞのおすすめ