メインコンテンツへスキップ
見出し画像

【はじめてのIllustrious】LoRAに覚えさせた髪型、もう書かなくても出る?

    こんにちは。

    前回は、背景を描くカスタムノードを自作しました。背景とキャラを分けて重ね、うちの子(白衣ちゃん)の特徴が背景に移るのを防ぐことを試してみました。

    その前は、自作 LoRA(キャラを覚えさせる追加データ)でイラスト集を作りました。

    イラスト集の記事:https://note.com/pudu_23/n/n267886e4a32a

    ただ、LoRA を作ったあとも、髪や目、画風のプロンプトをなんとなく毎回入れたままにしていました。LoRA がキャラと画風を覚えているなら、要らないのかもしれません。そこで今回は、それらの単語を外しても白衣ちゃんが出るのか確かめました。

    画像
    左 2 枚がいつもの単語あり、右 2 枚が髪・目・画風の単語なし

    髪や目、画風の単語をまとめて外しても、白衣ちゃんはそのまま出ました。むしろ単語を入れていたときにくすんでいた服が、指定どおりの水色になっています。

    まとめて外してみる

    この LoRA は 43 枚の絵から作ったもので、トリガー(LoRA を呼び出す単語)は hakuinoko です。学習時のキャプション(画像につける説明文)からは、灰色の髪や前髪、三つ編み、黒リボン、灰色の目、ジト目など、いつも同じ特徴のタグを消してあります。

    まず、イラスト集と同じ場面・同じ Seed で、髪・目・画風の単語をまとめて外してみました。

    画像
    白衣でくまのぬいぐるみを抱く絵(上:いつもの単語あり/下:髪・目・画風の単語なし)

    白衣の場面では、単語を外しても灰色の髪やぱっつん前髪、三つ編み、黒リボン、ジト目、あっさりした塗りまでほとんど変わりませんでした。

    今までの入力作業…😭

    ところが、魔女の衣装を着せた場面では結果が変わりました。

    画像
    魔女の衣装の絵(上:いつもの単語あり/下:髪・目・画風の単語なし)

    魔女の場面では、単語を外すと 3 枚とも茶髪になり、影とツヤのある別の絵柄に寄りました。目は紫がかり、リボンもオレンジや紫に変わっています。

    ただ、まとめて外したため、どの単語が効いていたのかはわかりません。ほかの場面でも試したくなり、新しく 3 つの場面を作って確かめることにしました。

    新しい 3 場面で比べる

    ここからはモデル WAI(waiIllustriousSDXL v11.0)と自作 LoRA(強さ 0.8)を使い、1 条件につき同じ 3 つの Seed(20261022・20261023・20261024)で 3 枚ずつ出しています。1 枚 約 10 秒でした。

    キャラは白い背景で出して切り抜き、前回作ったカスタムノードの柄の背景に重ねています。

    「いつもの単語あり」のプロンプトは次の形です。

    hakuinoko, 1girl, solo, cute, grey hair, blunt bangs, low twin braids, hair ribbon, black ribbon, grey eyes, jitome, half-closed eyes, blush, expressionless, <服・場面の単語>, simple background, white background, flat color

    ネガティブは次のとおりです。白衣以外の場面では、白衣を消すために lab coat, open coat も足していました(今回も②③では足しています)。①は横長のバストアップなので、頭が切れないように close-up, head out of frame を足しました。

    bad quality, worst quality, worst detail, sketch, censor, nsfw, close-up, head out of frame

    ②③のネガティブは次のとおりです。

    bad quality, worst quality, worst detail, sketch, censor, nsfw, lab coat, open coat

    「髪・目・画風の単語なし」は、ポジティブから cute, grey hair, blunt bangs, low twin braids, hair ribbon, black ribbon, grey eyes, jitome, half-closed eyes, flat color を外したものです。

    この 2 条件を 3 つの場面で比べました。①は白衣でノートと鉛筆を持ち、鉛筆を口元に当てる横長のバストアップです。

    lab coat, open coat, black t-shirt, upper body, holding notebook, holding pencil, pencil to lips, looking at viewer
    画像
    ① 白衣でノートと鉛筆(上:単語あり/下:単語なし)

    ②はボーダーのシャツとデニムのオーバーオールで、手を後ろに組んで前かがみになる全身の絵です。

    striped shirt, denim overalls, full body, standing, arms behind back, leaning forward, looking at viewer
    画像
    ② オーバーオールで前かがみ(上:単語あり/下:単語なし)

    ③は水色のセーラーワンピースで、手を後ろに組んで振り返る全身の絵です。

    light blue sailor dress, sailor collar, white neckerchief, puff sleeves, pleated skirt, white socks, brown loafers, full body, standing, from side, looking back, hands behind back

    どの場面も、服・場面の単語のあとに simple background, white background を付けています。

    画像
    ③ セーラーワンピースで振り返る(上:単語あり/下:単語なし)

    3 場面とも、単語なしでも灰色の髪やぱっつん前髪、三つ編み、黒リボン、ジト目が出て、魔女のように茶髪にはなりませんでした。単語なしの③は、リボンが黒ではなく紺になる絵がありました。

    差が出たのは③の服の色です。いつもの単語ありだとセーラーワンピースが灰色や紺にくすみ、単語なしだと指定どおりの水色になりました。セーラーワンピースは単語なしのほうがかわいいです。

    なお、右端の Seed 20261024 は、単語なしでも水色ではなくクリーム色のワンピースになりました。この Seed はほかの条件でも水色にならなかったので、比べるときは左の 2 枚を見ています。

    どの単語がくすませているのか

    ③で服がくすんだ原因を探るため、Seed 20261022 を使って単語を 1 グループずつ出し入れしてみました。

    まず「いつもの単語あり」から、髪色、前髪、三つ編み、リボン、目の色、ジト目、flat color、flat color と cute を 1 グループずつ外した結果です。

    画像
    単語ありから 1 グループずつ外した結果(Seed 20261022)

    三つ編みやリボンの単語を外してもその特徴自体は消えず、ワンピースもどれを外しても灰色寄りのままでした。少し青みが戻る絵はありますが、単語なしほどの水色にはなりません。

    反対に、「単語なし」へ 1 グループずつ足した結果がこちらです。

    画像
    単語なしに 1 グループずつ足した結果(Seed 20261022)

    どれを足しても服は水色のままで、リボンの単語を足すとリボンだけが黒くなりました。右下の「単語あり(全部)」になったときだけ、服がくすんでいます。

    1 グループずつ外しても足しても、くすみの原因の単語は見つからず、全部入れたときにくすみました。どれか 1 単語のせいではなさそうです。1 単語ずつでは何も起きないのに、全部そろうとくすむのは不思議です。

    LoRA を外して、単語だけにしてみる

    単語が重なること自体が原因なのか確かめるため、今度は LoRA を外し、「いつもの単語あり」のプロンプトだけで③を出してみました。

    画像
    ③の比較(上:LoRA あり+単語あり/下:LoRA なし+単語あり)

    LoRA を外した下の段は、細い顔で陰影のある別の絵柄になりましたが、服は 3 枚とも濃い青になりました。灰色の三つ編みや黒リボンは単語だけでも出ています。

    LoRA だけ(単語なし)でも、単語だけ(LoRA なし)でも服は青いままです。LoRA と単語がそろったときだけ、服が灰色にくすむことがわかりました。

    理由は未確認ですが、LoRA の灰色に髪や目の灰色の単語が重なり、絵全体が灰色に寄るのかもしれません(推測です)。

    単語が要る場面もあった

    一方で、単語なしのままトリガーや強さを変えると、髪の色が変わる場面もありました。③の「単語なし」から、さらにトリガーの hakuinoko を外した条件と、LoRA の強さを 0.6 に下げた条件を比べた結果です。

    画像
    ③の顔まわり拡大(上:単語なし/中:単語なし+hakuinoko なし/下:単語なし+強さ 0.6)

    トリガーまで外すと、左の 2 枚ははっきり、右の 1 枚も少し、髪が水色がかった白になりました。強さを 0.6 に下げると、中央の 1 枚の髪が水色になりました。単語なしで LoRA の効きが弱まると、服の水色が髪に移ることがあります。

    髪が水色になった絵は、それはそれでかわいいのですが、白衣ちゃんではありません。

    「いつもの単語あり」なら、トリガーなしでも強さ 0.6 でも髪は灰色のまま保たれました(服は灰色にくすみます)。最初の魔女衣装で茶髪になったのも、衣装の色に髪が引っぱられたのだと思います(推測です)。

    そこで、単語なしに grey hair だけを足してみました。

    画像
    ③の比較(上:単語なし・強さ 0.6/下:単語なし+grey hair・強さ 0.6)

    grey hair を 1 単語足すだけで、3 枚とも髪は灰色に戻りました。服は左が水色、中央が灰色寄りの水色で、右はこの Seed のいつものクリーム色です。トリガーを外した条件でも、grey hair を足すと 3 枚とも髪は灰色に戻りました(服は少し灰色寄りになります)。

    白衣の単語も外してみる

    いつも着ている白衣も LoRA が覚えているのか気になり、場面①から白衣と黒 T シャツの単語(lab coat, open coat, black t-shirt)を外してみました。

    画像
    ①の比較(上:いつもの単語あり/下:白衣・T シャツの単語なし)

    白衣は出ず、白い襟の灰色のトレーナー姿になりました。少なくともこの場面では、白衣と T シャツの単語を外すと白衣は出ませんでした。学習のときに服のタグを全部の画像に残したので、白衣はトリガーではなく単語のほうについているのだと思います(推測です)。

    また、場面②と③でネガティブプロンプトの lab coat, open coat を外しても、単語あり・単語なしの 12 枚とも白衣は混ざりませんでした。白衣を消すために入れていた単語は、今回の場面では要らなかったことになります。ただ、③では外すと服の水色が白っぽく薄くなりました。

    髪型・髪色を変えたいとき

    反対に、髪色や髪型をプロンプトの単語で変えられるのかも場面①で確かめました。まず、いつものプロンプトの grey hair を blonde hair に替えます。

    hakuinoko, 1girl, solo, cute, blonde hair, blunt bangs, low twin braids, hair ribbon, black ribbon, grey eyes, jitome, half-closed eyes, blush, expressionless, lab coat, open coat, black t-shirt, upper body, holding notebook, holding pencil, pencil to lips, looking at viewer, simple background, white background, flat color
    bad quality, worst quality, worst detail, sketch, censor, nsfw, close-up, head out of frame
    画像
    髪色の変更(上:grey hair/下:blonde hair)

    強さ 0.8 のままでも、三つ編みやリボンを残して 3 枚とも金髪になりました(0.6 でも同じです)。金髪の白衣ちゃんは新鮮です。

    次に、三つ編みとリボンの単語を外して short hair に替えました。

    hakuinoko, 1girl, solo, cute, grey hair, blunt bangs, short hair, grey eyes, jitome, half-closed eyes, blush, expressionless, lab coat, open coat, black t-shirt, upper body, holding notebook, holding pencil, pencil to lips, looking at viewer, simple background, white background, flat color
    bad quality, worst quality, worst detail, sketch, censor, nsfw, close-up, head out of frame
    画像
    髪型の変更(上:short hair・強さ 0.8/下:short hair・強さ 0.6)

    強さ 0.8 だと、3 枚とも三つ編みとリボンが残りました。強さを 0.6 に下げると、ショートヘアに寄りました。中央と右はショートになり、左の 1 枚(Seed 20261022)は短い二つ結びが残っています。金髪とショートを両方指定したときは、0.8 で 3 枚とも三つ編みが残り、0.6 で 3 枚とも金髪のショートになりました。

    今日わかったこと

    • 学習時に特徴タグを消して作った自作 LoRA なら、ふつうの服の場面では髪・目・画風の単語を外しても同じ白衣ちゃんが出ました。

    • LoRA と、いつもの髪・目・画風の単語が全部そろうと服の色がくすむことがあり、単語を外すと指定どおりの水色が出ました(1 単語ずつや LoRA なしではくすみません)。

    このモデルと自作 LoRA で 1 条件 3 枚ずつ確かめた範囲ですが、これからのプロンプトは次のように書くことにしました。

    学習画像に近い場面やふつうの服なら、トリガーの hakuinoko と服・場面の単語だけで書きます。とくに服の色をはっきり指定したい場面では、髪や目の単語を入れません。

    強さを下げたときや衣装の色が強いときなど、服の色が髪に移る場面だけ grey hair を足します。髪色や髪型を変えたいときは単語で上書きします。髪型は LoRA の覚えた三つ編みが強いので、強さを 0.6 に下げます。


    【おすすめ記事】


     
     

    Pudu

     
     
    ローカルの画像生成を学び直しています。

    あなたへのおすすめ