
【ゼロからはじめる】SD1.5の自作LoRA、43枚で学習したら1語で出てきた!【LoRA自作②】
こんにちは。
前回は、LoRAの学習に使う画像を43枚そろえて、キャプションを付けました。
目標はこの子を生成することです。

そして、LoRAなしで出した子がこれです。

プロンプトのみだとキャラの再現はなかなか難しいです。
そこで今回は、前回の43枚で、この子のLoRAを学習してみたいと思います。
そして今回の結果がこちらです。

ここからは、この結果に至るまでの過程です。
学習の道具を入れる
LoRAの学習って、何で行うか知っていましたか?
私は、ComfyUIの中でそのままできるものだと思っていました。
調べてみると、kohyaさんの「sd-scripts」というツールが主流なようです。
学習用のPythonスクリプトをまとめたもので、コマンドを打って動かします。
sd-scripts:https://github.com/kohya-ss/sd-scripts
入れたのはv0.12.0です。
READMEの手順どおりに、次のコマンドを順に打ちました。
Pythonは、READMEに挙がっていた3.10を使っています。
git clone https://github.com/kohya-ss/sd-scripts.git
cd sd-scripts
python -m venv venv
venv\Scripts\python -m pip install --upgrade pip
venv\Scripts\python -m pip install torch==2.8.0 torchvision==0.23.0 --index-url https://download.pytorch.org/whl/cu128
venv\Scripts\python -m pip install --upgrade -r requirements.txt
venv\Scripts\accelerate config default --mixed_precision fp16気を付けたのは、PyTorchのバージョンです。
READMEには「RTX 50シリーズはPyTorch 2.8.0とCUDA 12.8/12.9を使う」と書かれていました。
私のGPUはRTX 5060 Tiなので、それに合わせています。
1回だけつまずきました。
最初はPyTorchのインストールが、次のエラーで止まりました。
ERROR: Could not find a version that satisfies the requirement flit_core<4,>=3.11 (from versions: none)
ERROR: No matching distribution found for flit_core<4,>=3.11このときのpipは、venvに最初から入っていた23.0.1でした。
先にpipを新しくしてからやり直すと、そのまま入りました。
上のコマンドの4行目が、そのために足した1行です。
PyTorchのインストールに約7分、残りのライブラリに約1分半かかりました。
入れ終わったあとのvenvフォルダは7.6GBです。
画像を置いて設定を書く
次に、前回そろえた43枚の画像とキャプションを、sd-scriptsのフォルダの中に置きました。
学習用に train というフォルダを作っています。
sd-scripts\train\
hakuinoko\ 画像43枚とキャプション43個
dataset.toml 画像の読み込み方の設定
output\ できたLoRAの出力先
logs\ 学習の記録画像の読み込み方は、dataset.toml という設定ファイルに書きます。
sd-scriptsのドキュメントを読みながら、次のように書きました。
[general]
shuffle_caption = true
caption_extension = ".txt"
keep_tokens = 1
[[datasets]]
resolution = [512, 768]
batch_size = 2
enable_bucket = true
bucket_no_upscale = true
[[datasets.subsets]]
image_dir = 'train\hakuinoko'
num_repeats = 10決めた項目を表にします。
はじめて見る言葉が多かったので、意味も一緒に書きました。
項目:値と、そうした理由
学習元のモデル:Hassaku (SD1.5) v1.3。生成に使っているモデルに合わせた
num_repeats(繰り返し):10。1枚を10回ずつ使うので、43枚×10で430枚ぶん
エポック(全体を何周するか):10。1周ごとにLoRAを保存して、あとで比べる
batch_size(一度に読む枚数):2。430枚÷2で、1エポックが215ステップ。10エポックで2,150ステップ
resolution:512×768。512×512と512×768が混ざっているので、サイズごとに分けて読む設定(bucket)を入れた
network_dim(LoRAの大きさ):16。ドキュメントの例と同じ
network_alpha:8。ドキュメントに、dimの半分ほどを指定することが多いと書かれていた
学習率:1e-4。ドキュメントの例と同じ
keep_tokens:1。キャプションのタグは毎回並べ替えるが、先頭の hakuinoko だけは動かさない
dimや学習率は、ドキュメントの例のままです。
自分で決めたのは、繰り返しとエポックの回数と、先頭のトリガーワードを固定するところでした。
学習を回す
設定ができたので、学習を始めます。
打ったコマンドはこれです。
accelerate launch --num_cpu_threads_per_process 1 train_network.py --pretrained_model_name_or_path="models\checkpoints\SD 1.5\hassakuSD15_v13.safetensors" --dataset_config="train\dataset.toml" --output_dir="train\output" --output_name="hakuinoko" --save_model_as=safetensors --network_module=networks.lora --network_dim=16 --network_alpha=8 --learning_rate=1e-4 --optimizer_type="AdamW8bit" --lr_scheduler="constant" --sdpa --max_train_epochs=10 --save_every_n_epochs=1 --mixed_precision="fp16" --cache_latents --seed=42 --logging_dir="train\logs"実行すると、黒い画面に進み具合が流れはじめました。

1秒に約2ステップのペースで、1エポックは約1分47秒でした。

10エポックの学習は、約18分で終わりました。
何時間もかかるものだと思っていたので、少し拍子抜けしました。
かかった時間:約18分
ステップ数:2,150
VRAMの使用量:最大で約6.3GB(16GBのうち)
できたファイル:10個(1エポックごと)。1個あたり約36MB
学習の記録には、loss(お手本との誤差)という数字が残っていました。
エポックごとの平均をグラフにしたものです。

4エポックまでは下がって、そのあとは上がったり下がったりしています。
この数字だけでは、どのエポックがいいのかは決められませんでした。
実際に絵を出して確かめることにします。
ComfyUIで足す
できたLoRAは、ComfyUIの models\loras フォルダに置きました。
最後のエポックのファイルが hakuinoko.safetensors、途中のものが hakuinoko-000001.safetensors のような名前です。
ワークフローは、人気のLoRAを試したときと同じ8ノードです。
Load CheckpointのあとにLoad LoRAを1つはさんでいます。


モデルはHassaku (SD1.5) v1.3、サイズは512×768で、これまでと同じです。
強さは、まず1.0のままにしました。
まずLoRAなし
比べる相手として、LoRAなしの5枚を先に出しておきます。
ポジティブプロンプトです。
1girl, solo, grey hair, bob cut, blunt bangs, hair over eyes, short twin braids, black ribbon, grey eyes, half-closed eyes, sleepy, blush, white lab coat, oversized coat, black t-shirt, white socks, black loafers, chibi, flat color, monochrome palette, simple background, white background, standing, looking at viewerネガティブプロンプトです。
lowres, bad anatomy, bad hands, extra fingers, worst quality, low quality, blurry, colorful, saturated
トリガーワードだけで出す
いよいよ自作のLoRAです。
前回、キャプションから髪や目のタグを消して、先頭に hakuinoko という言葉を入れました。
この1語だけでこの子が出てほしい、という決め方です。
それが合っていたかを確かめるため、プロンプトから髪・目・服のタグをすべて外しました。
残したのは、hakuinoko と、立ち方や背景のタグだけです。
ポジティブプロンプトです。
hakuinoko, 1girl, solo, standing, full body, looking at viewer, simple background, white backgroundネガティブプロンプトです。
lowres, bad anatomy, bad hands, extra fingers, worst quality, low quality, blurry, colorful, saturated先に、このプロンプトのままLoRAを外して出しました。
次に、LoRAを足して出しました。
変えたのはLoRAがあるかないかだけです。

LoRAなしでは、5枚とも黒っぽい髪の、和服の子が出ました。
LoRAを足すと、5枚とも、灰色の髪に三つ編みと黒いリボンの子になりました。
髪の色も、三つ編みも、白衣も、プロンプトには書いていません。
絵柄も、線のはっきりした目標の子の描き方に変わっています。
前回のキャプションの決め方は、合っていたようです。
ただ、服は5枚でばらつきました。
黒いTシャツが白くなったり、白衣がグレーになったりしています。
目標の子がはいている長い白い靴下も、そのままは出ていません。
いつものタグと一緒に出す
次に、これまで使ってきたタグの先頭に hakuinoko を足して出しました。
変えたのはプロンプトだけです。
ポジティブプロンプトです。
hakuinoko, 1girl, solo, grey hair, bob cut, blunt bangs, hair over eyes, short twin braids, black ribbon, grey eyes, half-closed eyes, sleepy, blush, white lab coat, oversized coat, black t-shirt, white socks, black loafers, chibi, flat color, monochrome palette, simple background, white background, standing, looking at viewerネガティブプロンプトです。
lowres, bad anatomy, bad hands, extra fingers, worst quality, low quality, blurry, colorful, saturated
ジト目は、タグを足したほうがはっきり出ました。
一方で、顔が大きく写る絵になり、足もとまで入った絵は減りました。
元のタグには full body が入っていないので、その差も出ていると思います。
トリガーワードだけでもこの子になるので、ここから先はトリガーワードだけのプロンプトで比べます。
エポックを比べる
学習の途中で保存された10個のLoRAのうち、6個を比べました。
プロンプトと強さは同じで、変えたのはLoRAのファイルだけです。
ポジティブプロンプトです。
hakuinoko, 1girl, solo, standing, full body, looking at viewer, simple background, white backgroundネガティブプロンプトです。
lowres, bad anatomy, bad hands, extra fingers, worst quality, low quality, blurry, colorful, saturated
1エポックの時点で、もう灰色の髪と三つ編みが出ています。
ただ、服は和服のような別の服が多く、白衣にはなっていません。
先に髪が出るようになって、服はあとから近づいていきました。

4エポックで白衣らしい上着が増え、6エポックからは大きくは変わりませんでした。
10エポックまで回しても、この5枚では絵が崩れたり、同じ絵ばかりになったりはしていません。
この先は、いちばん最後の10エポックのLoRAを使うことにします。
強さを比べる
次に、10エポックのLoRAで、Load LoRAの強さを変えました。
変えたのは強さだけです。
ポジティブプロンプトです。
hakuinoko, 1girl, solo, standing, full body, looking at viewer, simple background, white backgroundネガティブプロンプトです。
lowres, bad anatomy, bad hands, extra fingers, worst quality, low quality, blurry, colorful, saturated
0.4では足りませんでした。
黒髪の子が混ざり、服もLoRAなしのときの和服に近いままです。
0.7と1.0は、どちらもこの子になりました。
1.3まで上げると、5枚とも白衣がグレーになりました。
私のLoRAでは、強さは0.7〜1.0がちょうどよさそうです。
ついでに試す
学習に使った43枚は、すべて白い背景で、椅子に座った絵は1枚もありません。
それ以外の絵も出せるのかを、2つ試しました。
Seedを戻して、プロンプトを1か所だけ変えています。
座らせる
standing を sitting, on chair に変えました。
ポジティブプロンプトです。
hakuinoko, 1girl, solo, sitting, on chair, full body, looking at viewer, simple background, white backgroundネガティブプロンプトです。
lowres, bad anatomy, bad hands, extra fingers, worst quality, low quality, blurry, colorful, saturated
5枚とも、この子のまま椅子に座りました。
学習した画像に無いポーズも、プロンプトで出せました。
ただ、LoRAなしと比べると顔に寄った絵ばかりで、足もとまでは入っていません。
公園に立たせる
立ち姿に戻して、背景の simple background, white background を outdoors, park に変えました。
ポジティブプロンプトです。
hakuinoko, 1girl, solo, standing, full body, looking at viewer, outdoors, parkネガティブプロンプトです。
lowres, bad anatomy, bad hands, extra fingers, worst quality, low quality, blurry, colorful, saturated
背景も、5枚とも白ではなくなりました。
白い背景の画像だけで学習しても、背景はプロンプトで変えられました。
ただ、LoRAなしの背景と比べると、色がくすんでいます。
学習した43枚が白と黒とグレーの多い絵なので、色の少なさまで一緒に覚えたのだと思います。
結果のまとめ
自作のLoRAを足すと、hakuinoko の1語だけで、灰色の髪に三つ編みの、白衣の子が出るようになりました。
これまで試した中で、いちばん目標の子に近づいたと思います。
やる前は、学習がいちばん大変だと思っていました。
実際は、道具を入れて設定を書けば、あとは18分待つだけでした。
時間がかかったのは、前回の画像をそろえる作業のほうです。
一方で、まったく同じ子にはなっていません。
黒いTシャツや長い靴下は出たり出なかったりで、5枚出せば5枚とも少しずつ違います。
今日わかったこと3つ
43枚の画像と約18分の学習で、目標の子に近い絵が出るLoRAを作れることがわかった
キャプションから消した髪の特徴は、トリガーワードの1語で出せることがわかった
白い背景の画像だけで学習しても、ポーズと背景はプロンプトで変えられることがわかった
次は、学習用の画像を用意し直して、もう一度学習してみたいと思います。
今回使ったワークフローです。自作のLoRAを足して生成する8ノードのものです。モデルとLoRAは含まれていません。
【次の記事】
【おすすめ記事】