メインコンテンツへスキップ
見出し画像

【ゼロからはじめる】SD1.5の自作LoRAの顔と手を、そこだけ描き直してみた!【Detailer】

    こんにちは。

    前回は、ControlNetで白衣の子にポーズをとらせました。
    両手を広げてジャンプする絵は思いどおりに出ましたが、拡大してみると、広げた手は指の形が崩れていて使えないものがあったりしました。

    そこで今回は、顔や手だけを描き直す「Detailer」を試してみます。

    そして今回の結果がこちらです。

    画像
    下は顔の拡大です。

    顔は少し良くなりましたが、手を直すことはできませんでした。

    ここからは、この結果に至るまでの過程です。

    前回のジャンプの絵を出し直す

    まずは、前回のOpenPoseのジャンプの絵を、同じ条件で出し直しました。
    モデルはHassaku v1.3、LoRAは自作の hakuinoko2(強さ1.0)です。
    512×768で出して、RTX Video Super Resolutionで2倍(1024×1536)にしています。
    ポーズの元の絵とOpenPoseの設定も、前回と同じです。

    hakuinoko, 1girl, solo, full body, jumping, arms up, open mouth, blue sky
    lowres, bad anatomy, bad hands, extra fingers, worst quality, low quality, blurry, colorful, saturated
    画像
    下の2段は、顔と、向かって右の手の拡大。

    Detailerとは

    Detailerは、絵の中の一部分だけを切り出して、大きくしてから描き直し、元の場所に戻す仕組みです。
    この絵の顔は、1024×1536の中で横190〜210pxほどしかありません。
    Detailerは、この顔のまわりを切り出して、大きくしてから描き直します。

    Detailerは、ComfyUI-Impact-Pack というカスタムノードに入っています。

    SAM3で顔と手を見つける

    描き直す範囲は、マスク(対象にする部分だけを白く塗った画像)で渡します。
    今回は、SAM3(言葉で指定したものを画像から切り出すモデル)でマスクを作りました。
    「face」と書くと顔、「hands」と書くと手だけが塗られたマスクが出てきます。

    SAM3のノードは ComfyUI-RMBG というカスタムノードに入っています。
    モデルは sam3.pt(約3.45GB)で、Hugging Faceの 1038lab/sam3 にあるものです。

    画像
    上が「face」、下が「hands」。赤いところがマスクです。

    5枚とも、顔と両手をきちんと拾っていました。

    ノードを用意する

    ワークフローの全体はこうなりました。
    前回のワークフローの下に、手を描き直す列と、顔を描き直す列を足しています。
    手を描き直した絵を、そのまま顔の列に渡しています。

    画像
    ワークフローの全体。上の2段が前回の分、その下が手、いちばん下が顔です。
    画像
    SAM3 Segmentation と MASK to SEGS。

    SAM3 Segmentation に「hands」と書き、出てきたマスクを MASK to SEGS でDetailerが読める形に変えます。
    しきい値は0.5、crop_factor(切り出すときに周りをどれだけ含めるか)は3.0です。
    左下の Preview Image には、できたマスクが出ます。

    画像
    手に足すプロンプト。

    描き直すときのプロンプトは、元のプロンプトに手用の文を足しました。
    Conditioning (Combine) で、元のプロンプトとつないでいます。

    detailed hands, five fingers, well-defined fingers
    extra fingers, six fingers, missing fingers, fused fingers, malformed hands, bad hands

    顔の列も同じ形で、足す文だけを顔用にしています。

    detailed face, detailed eyes, symmetrical eyes, detailed eyelashes, clean lineart
    deformed face, asymmetrical eyes, mismatched eyes, cross-eyed, malformed pupils, extra teeth, blurry face
    画像
    Detailer (SEGS)。

    Detailer (SEGS) は、guide_size(大きくする先の大きさ)を512、max_size(大きくするときの上限)を1024にしました。
    切り出す範囲が顔の3倍あるので、実際は上限の1024pxで止まり、顔は1.4〜1.8倍ほどに大きくなって描き直されます。
    ステップ・CFG・サンプラーは元の絵と同じです。
    denoise(描き直す強さ。1.0で全部描き直す)は、まずは弱めの0.3にしました。

    ①そのままのマスクで描き直す

    まずは、SAM3のマスクをそのまま使って、5枚の顔を描き直しました。
    Seedは元の絵と同じで、変えたのはDetailerをかけたことだけです。

    画像
    上が描き直す前、下が後(denoise 0.3)。

    線が少しはっきりして、目の左右の差も少し減りました。
    ただ、並べないとわからないくらいの違いです。

    手も、同じ設定で描き直しました。
    向かって右の手を拡大しています。
    0.3では変わらなかったので、0.7でも試しました。

    画像
    上から、描き直す前、0.3、0.7。

    0.7まで上げても、手の輪郭は前とまったく同じでした。
    手のひらに線が増えるだけで、Seed 20260920の4本しかない指も4本のままです。

    輪郭の外は描き直せなかった

    Detailer (SEGS) は、noise_mask がオンだと、マスクで塗ったところを描き直します。
    マスクのふちは noise_mask_feather(初期値20)でぼかしてから使うので、強く描き直されるのはマスクの内側です。
    SAM3のマスクは、手の形にぴったり沿っています。
    指の外側の空は、ほとんど描き直されない範囲でした。

    細い指は、ほとんどがふちなので、内側でも描き直しが弱まります。
    輪郭が変わらなかったのは、このためだと思います。

    Impact Packには、顔用の FaceDetailer というノードもあります。
    こちらは、見つけた範囲を少し広げてから使う設定(bbox_dilation の初期値10)になっていました。
    Detailer (SEGS) の denoise の初期値も、0.3ではなく0.5です。

    ②マスクを広げて描き直す

    そこで、SAM3のマスクを広げてからDetailerに渡すことにしました。
    Dilate Mask(マスクを太らせるノード。Impact Packに入っています)を、SAM3と MASK to SEGS のあいだに入れています。
    dilation は24にしました。マスクのまわりが、約12pxずつ広がります。

    画像
    Dilate Mask。dilation を24に。
    画像
    上がそのままのマスク、下が広げたマスク(dilation 24)。

    指のまわりの空まで、描き直す範囲に入りました。
    顔も同じように広げています。

    この形で、denoise を0.3、0.5、0.7に変えて比べました。
    Seedは同じ5つで、変えたのはマスクの幅と denoise だけです。

    画像
    上から、描き直す前、0.3、0.5、0.7。

    今度は、並べると違いがわかるくらいに変わりました。
    0.5では、瞳の中のハイライトやまつ毛まで描き込まれて、目が細かくなりました。
    目の色は、前より少し濃い青になっています。
    0.7では、口の形や目の大きさまで変わる絵が出てきたので、顔は0.5にしました。

    画像
    上から、描き直す前、0.3、0.5、0.7。

    手は、0.5で指や手のひらの線が増えましたが、指の形はそのままです。
    0.7では指の形そのものが変わりましたが、指がつぶれたり、手のひらが赤くなったりして、前より崩れた絵もあります。
    どの強さでも、手を直すことはできませんでした。
    手は、崩れる絵が出ない0.5にしています。

    冒頭の絵は、この手0.5→顔0.5で描き直したものです。

    カップを持つ手でも試す

    ジャンプの手は、広げて大きく写っていました。
    指が重なる手でも同じかを見るために、カフェでカップを持つ場面でも試しました。
    こちらはControlNetを使わず、プロンプトだけで出しています。

    hakuinoko, 1girl, solo, upper body, sitting, holding cup, cafe, table, window
    lowres, bad anatomy, bad hands, extra fingers, worst quality, low quality, blurry, colorful, saturated
    画像
    下は手の拡大。

    広げたマスクで、手の denoise を0.3、0.5、0.7で比べました。

    画像
    上から、描き直す前、0.3、0.5、0.7。

    0.5で、握りこぶしのようだった手に、指の線が入ってきました。
    0.7では、手が白っぽく薄くなって、袖と見分けにくくなる絵がありました。
    こちらも、0.5くらいまでがちょうどよさそうです。

    最後に、手0.5→顔0.5で、カップの絵を描き直しました。

    画像
    左が描き直す前、右が手0.5→顔0.5。

    全体で見ると、違いは小さいです。
    これくらい大きく写った顔と手は、もともと大きく崩れてはいなかったのだと思います。

    時間とVRAM

    元の絵は、1枚約3.6秒(ControlNetと2倍にする時間を含む)です。
    手→顔の描き直しには、それとは別に1枚約48〜54秒かかりました。
    カフェの絵は、元の絵が1枚約2.8秒、描き直しが約37〜49秒でした。
    どこに時間がかかっているのか、内訳までは測っていません。

    VRAMの最大は、元の絵だけのときの3,918MiBから、12,562MiBに増えました。
    SAM3を一度読み込んだ後は、元の絵だけを出すときも9GB以上のままでした。
    SAM3のノードの unload_model は false のままなので、モデルが載ったままになっているのだと思います。

    今日わかったこと2つ

    1. SAM3のマスクをそのまま渡すと、輪郭の外は描き直せない。マスクを広げて denoise を0.5にすると、顔は瞳やまつ毛が描き込まれて少し良くなった

    2. 手は、マスクを広げても直せなかった。0.7で指の形は変わるが、つぶれたり薄くなったりする絵も出た

    次は、指が足りない手を描き直してみたいと思います。


    今回使ったワークフローです。前回のOpenPoseのワークフローに、手→顔の描き直し(マスクを広げ(dilation 24)、denoise は手・顔とも0.5)を足しています。モデルとLoRAは含まれていません。

    【次の記事】


    【おすすめ記事】


     
     

    Pudu

     
     
    ローカルの画像生成を学び直しています。

    あなたへのおすすめ