
StableDiffusionのSDXLモデルをFineTuningして、新しいモデルを作成する講座
Stable DiffusionのSDXLモデルをFineTuningする。SD1.5はモデルを作成する人も多かったが、SDXLではリソースの問題なのかFineTuningまで出来ずにLoRAで止まってしまった人も多いかと思う。しかし、SDXLモデルもいくつか存在はするのでFineTuningはできるはずだ。今回はそれを示していく
前提
Google アカウント
Google Colaboratory (Colab Proプラン) A100
Google One ベーシックプラン (100GB)
Hugging Face アカウント
Hugging FaceのUser Access Token
基本的なLinuxのコマンドを知っている
対象者
Stable Diffusionのトレーニングに興味がある人
Stable Diffusionのモデルを作成することに興味がある人
自分だけのローカルモデルを作成してみたい人
注意事項
Stable Diffusionのトレーニング方法については、オンラインのドキュメントがHugging Faceなどで公開されているので、一度、ドキュメントを読んで事足りるかどうか確認する事を強くオススメします
こちらの記事では、著者の状況に合わせて用意したデータセットでStable Diffusionをトレーニングしたレポートとなります。このレポートを活用することにより、商業的な効果をお約束するものではありません。また、こちらの記事の内容を実行したことによる損失、損害に関して一切責任を負いかねます
※ この記事は一般の個人ユーザー向けに販売しており、法人向けに販売はしておりません。法人の方の購入はご遠慮ください
返金申請について
有料記事の返金機能は有効にしてありますが、noteによる一定の審査がありますのでご注意ください
この記事から何が得られるのか?
Stable Diffusionのモデルをトレーニングする過程で著者が躓いた点や解消した方法を知ることが出来る
Stable Diffusionのモデルを自分で用意したデータセットで学習させることが出来るため、自分専用のローカルモデルを作成する実例を知ることが出来る
特に、技術的にはGoogle ColaboratoryでFineTuningを出来なかったと言っていた人もいたので価値はあるかと考えている
作業日数
ドキュメントの読み込み
2日間、いくつかのドキュメントを読んで、最終的に実行するプロジェクトを選んだ
ドキュメントの実践
1日、エラーの対応も含めて対応
レポートの執筆
3日間、出来るだけ実行しやすいようにレポートの内容はそのまま書いて、基本的な構成を見直した
想定時間
本件を演習するための時間を示す
目安としては、下記のFineTuning(トレーニング)を1時間30分ほどで実行できる
画像の枚数:250枚
総ステップ数:2500 Step (250 * 10 epoch)
上記に加えて、Google Colaboratoryのノートブックにレポートのコードをコピペする時間、また、いくつか下準備をする時間が合わせて必要になる。おおよそ、1日あれば十分に実行できるだろう
また、コードのプロパティの意味や用語の理解を含めるときはドキュメントを読んで頂くことが一番であるため、必要に応じてドキュメントを読む時間を別に取って頂いて理解を深めて貰えればと思う
学習について
FineTuningに使用する画像について
自分がFineTuningに使用したい画像を用意すること
枚数:234枚
画像形式:jpeg
画像サイズ:700*1024(width*height)FineTuningするモデルについて
FineTuningしたモデルは2つ
stabilityai/stable-diffusion-xl-base-1.0
cagliostrolab/animagine-xl-3.1
FineTuningに使用するVAEについて
stabilityai/sdxl-vae
フロー
画像を用意する
タグやキャプションを用意する
トレーニングする
結果を確認する
コスト
FineTuningをするときに掛かった費用を示していく
Google Colab Proプランに関してはT4 GPUでハイメモリを選択するために使用する。"Pay As You Go"ではハイメモリを選択できず、GPUは足りているのに、システムRAMが足りないのでクラッシュしたプロジェクトがあり、苦い思い出があったのでGoogle Colab Proプランを選択している。いずれにしてもA100でFineTuningするので有料プランの加入は必須だ

また、Google One ベーシックに加入することで、Google Driveの容量を増やすことが出来る。デフォルトだと容量は15GBだが、FineTuningしたモデルを格納するための容量が足りなかったため増やしたという状況だ。こちらは必要に応じて加入を検討すればよい
◾️ Google One ベーシック(100GB)
250円/月
◾️ Google Colab Proプラン
1179円/月
合計:1429円/月
※ 2024年8月14日時点での価格となります。