メインコンテンツへスキップ
見出し画像

【ゼロからはじめる】SD1.5の自作LoRA、まずは画像を43枚そろえた!【LoRA自作①】

    こんにちは。

    前回は、Civitaiで人気のLoRAを上位5つ試しました。
    絵柄は大きく変わりましたが、目標の子にはなりませんでした。

    目標はこの子を生成することです。

    画像
    ChatGPTに作ってもらった白衣の子。

    そして前回の結果がこれです。

    画像
    前回、人気のLoRAを足して出た子。

    近づいてはいますが、まだまだです。

    そこで今回は、この子のLoRAを自分で作ってみたいと思います。
    先に、学習に使う画像をそろえる必要があります。

    LoRAとは

    LoRAは、モデル本体(チェックポイント)に後から足して使う、小さな追加データです。
    Low-Rank Adaptationを略した名前です。

    前回使った5つは、いちばん大きいものでも144MBでした。
    約2GBあるチェックポイントを丸ごと入れ替えなくても、絵柄や描き込みの具合を変えられます。

    前回の5つは、絵柄や描き込みを変えるためのLoRAでした。
    覚えさせたい子の画像で学習すれば、その子を出すためのLoRAも作れます。
    今回作りたいのは、このキャラクター用のLoRAです。

    LoRAを作るのに要るもの

    LoRAの学習って、何を用意すればいいか知っていましたか?
    私は、画像を何枚か渡せば終わりだと思っていました。

    作り方を調べてみると、要るものは2つでした。
    覚えさせたい子の画像と、その画像を言葉で説明したテキスト(キャプション)です。
    画像1枚につき、同じ名前のテキストファイルを1つ付けます。

    今回はこの2つをそろえるところまでやって、学習は次に回します。

    手持ちの画像を数える

    画像は、サムネイル等で使おうともともと生成していたものが、すでにたくさんあったので、今回は試しでこのデータで進めようと思います。

    数えてみると、全部で約850枚ありました。
    このうち、背景が緑1色でそろっているものが283枚です。

    画像
    手持ちの画像の一部。

    使う画像を選ぶ

    今回はテストなので、283枚の中から最低限の条件を満たすものをピックアップしました。

    条件は、次の3つです。

    • 白衣に黒いTシャツ

    • ノートパソコンやヘッドホンなどの小道具を持っていない

    • 顔のアップ・上半身・全身と、横や後ろ向きがひととおり入る

    選んだのは43枚です。
    顔のアップが10枚、上半身が20枚、全身が13枚になりました。

    画像
    選んだ43枚。切り抜いて、背景を白にした後のもの。

    切り抜いてサイズをそろえる

    選んだ画像で困ったのは、サイズです。
    手持ちの画像は横長の1448×1086で、全身の絵はその真ん中に細長く立っています。

    たとえば下の左の画像だと、子が写っているのは画像全体の14%ほどでした。
    残りはすべて緑の背景です。

    画像
    左が元の画像、右が切り抜いた後。

    SD1.5は512×512の画像で学習されたモデルです。
    そこで、子のまわりで切り抜いて、SD1.5で出すときと同じサイズに縮めました。

    • 顔のアップと上半身は512×512

    • 全身は縦長の512×768

    43枚を1枚ずつ手で切るのは大変なので、Pythonの短いスクリプトでまとめて処理しました。

    緑の背景を白にする

    背景の緑も、そのままにするか迷いました。
    43枚すべてが同じ緑だと、緑の背景まで「この子の特徴」として覚えてしまいそうです。

    いつも生成に使っているプロンプトには white background と書いています。
    それに合わせて、緑の部分を白に置き換えました。

    画像
    左が緑のまま、右が白に置き換えたもの。

    緑1色の背景は、こういうときに抜きやすくて助かりました。
    髪のふちの緑みも、一緒に消しています。

    タグを付ける

    画像がそろったので、次はキャプションです。
    43枚ぶんを手で書くのは大変なので、自動でタグを付けてくれる道具を探しました。

    WD14 Taggerを入れる

    見つけたのは、ComfyUIに足せる「WD14 Tagger」というノードです。
    画像を渡すと、SD1.5のプロンプトと同じ形のタグを返してくれます。

    ComfyUI-WD14-Tagger:https://github.com/pythongosssss/ComfyUI-WD14-Tagger

    ComfyUIの custom_nodes フォルダの中で、次のコマンドを打って入れました。

    git clone https://github.com/pythongosssss/ComfyUI-WD14-Tagger

    ComfyUIを起動すると、「WD14 Tagger」というノードが使えるようになりました。
    Load Imageとつなぐだけの、2ノードのワークフローです。

    画像
    左の画像に、右のタグが付いた。

    設定は、replace_underscore をtrueにした以外は最初のままです。
    これは、タグの区切りのアンダースコアを空白に変える設定です。

    • model:wd-v1-4-moat-tagger-v2

    • threshold:0.35

    • character_threshold:0.85

    • replace_underscore:true

    1枚目だけは、タグ付け用のモデル(約330MB)のダウンロードがあって約30秒かかりました。
    2枚目からは1枚2秒ほどです。

    付いたタグを数える

    43枚に付いたタグは、1枚あたり平均28個、全部で98種類でした。
    多かったものと、気になったものを表にします。

    • タグ:付いた枚数(43枚中)

    • grey hair:43

    • twin braids:43

    • white background:43

    • twintails:40

    • grey eyes:39

    • long hair:38

    • labcoat:31

    • jitome:3

    • chibi:2

    髪の色や三つ編み、白い背景は43枚すべてに付きました。
    一方で、外れているタグもあります。

    この子はボブに短い三つ編みですが、38枚に long hair、40枚に twintails が付きました。
    白衣は labcoat と付いたのが31枚でした。
    残りの12枚は、white jacket が7枚、white shirt や white dress が5枚です。
    いちばんの特徴のジト目(jitome)は、3枚にしか付いていません。

    自動で付けたタグは、そのままでは使えませんでした。

    キャプションを直す

    そこで、直し方の決まりを3つ作って、43枚ぶんをまとめて直しました。

    • 先頭に、この子を呼び出すための言葉(トリガーワード)を足す

    • 外れているタグを消し、白衣の呼び方は labcoat にそろえる

    • 髪や目など、この子がいつも持っている特徴のタグを消す

    トリガーワードは hakuinoko にしました。
    ほかの言葉とかぶらないように、「白衣の子」をそのままローマ字にしただけです。

    3つ目は少し迷いました。
    髪や目のタグを残すと、その特徴はタグのほうに結び付いてしまいそうです。
    hakuinoko の1語だけでこの子が出てほしいので、いつも同じ特徴のタグは消しました。
    ポーズや表情、服のタグは、あとで変えられるように残しています。

    これで合っているのかは、次の学習で確かめたいと思います。

    直す前のタグです。

    1girl, solo, looking at viewer, blush, bangs, simple background, shirt, long sleeves, white background, ribbon, closed mouth, standing, full body, hair ribbon, braid, grey hair, shoes, socks, black footwear, twin braids, coat, grey eyes, kneehighs, black shirt, expressionless, white socks, loafers, jitome, labcoat, white coat

    直した後のキャプションです。

    hakuinoko, 1girl, solo, looking at viewer, blush, simple background, long sleeves, white background, closed mouth, standing, full body, black footwear, labcoat, kneehighs, black shirt, expressionless, white socks, loafers

    1枚あたりのタグは、平均28個から15個に減りました。

    フォルダに置いて読ませる

    最後に、画像とキャプションを1つのフォルダにまとめました。
    置いたのは、ComfyUIの input フォルダの中に作った hakuinoko フォルダです。

    ComfyUI\input\hakuinoko\
      01_face.png
      01_face.txt
      02_face.png
      02_face.txt
      …
      43_full.png
      43_full.txt

    ComfyUIには「Load Image-Text (from Folder)」というノードが最初から入っていました。
    フォルダを選ぶと、中の画像と同じ名前のテキストを組にして読み込んでくれます。

    画像
    左のノードでフォルダを選ぶと、画像とキャプションが出てきた。

    Preview ImageとPreview as Textにつないで実行すると、画像が43枚、キャプションも43個、順番どおりに読み込めました。
    これで材料はそろったはずです。

    今日わかったこと3つ

    • LoRAを作るには、画像と、画像ごとのキャプションの2つが要ることがわかった

    • 手持ちの画像は、切り抜いてサイズをそろえ、背景を白にしてから使うことがわかった

    • 自動で付けたタグには外れがあり、そのままでは使えないことがわかった

    次は、この43枚で学習してみたいと思います。


    今回使ったワークフローです。タグを付ける2ノードのものと、フォルダを読み込んで確かめるものです。WD14 Taggerのノードとモデル、画像は含まれていません。

    【次の記事】


    【おすすめ記事】


     
     

    Pudu

     
     
    ローカルの画像生成を学び直しています。

    あなたへのおすすめ