
【ゼロからはじめる】SD1.5に画像を見せたら、一気に近づいた!【IP-Adapter】
こんにちは。
前回は、SD1.5のプロンプトをChatGPT・Gemini・ローカルのAIに書いてもらいました。
書き手ごとに癖が出て、白衣は出るようになりましたが、髪型や目はまだ違いました。
前回の記事:【ゼロからはじめる】SD1.5のプロンプトをChatGPT・Gemini・ローカルAIに書かせてみた!
目標はこの子を生成することです。

そして前回の結果がこれです。

・・・
文章で特徴を伝えるのは、そろそろ限界な気がしてきました。
そこで今回は、目標の子の画像そのものを見せてみたいと思います。
使うのは、IP-Adapterという仕組みです。
そして今回、画像を見せて出た「この子」がこちらです。

ここからは、この結果に至るまでの過程です。
IP-Adapterを入れる
IP-Adapterって、知っていましたか?
私は知りませんでした。
同じキャラクターを何度も出す方法を調べていたときに見つけたので、試してみたいと思います。
IP-Adapterは、画像を「見本」としてモデルに渡すための追加データです。
プロンプトの文章と一緒に、見本の画像の特徴も絵に反映させます。
ComfyUIの標準のノードには無いので、カスタムノードの「ComfyUI_IPAdapter_plus」を入れました。
GitHubのページには、2025年4月から「maintenance only」(更新はほぼ止める)と書かれていました。
今のComfyUI v0.36.0で動くか心配でしたが、custom_nodesフォルダにgit cloneして、再起動するだけで読み込まれました。
次にモデルを置きます。
READMEに、どのファイルをどのフォルダに置くかが並んでいます。

必要なのは、画像を読み取る「画像エンコーダー」と、IP-Adapter本体の2種類です。
画像エンコーダーはclip_visionフォルダ、本体はipadapterフォルダ(無ければ作る)に置きます。
1か所だけつまずきそうな所がありました。
画像エンコーダーは、ダウンロードするとmodel.safetensorsという名前です。
READMEには「download and rename」とあり、CLIP-ViT-H-14-laion2B-s32B-b79K.safetensorsに名前を変えないと、ローダーが見つけてくれません。
本体は、配布元のHugging Faceから3つ落としました。

モデルカードには、それぞれこう書かれていました。
ip-adapter_sd15(標準):画像全体の特徴を1つにまとめて使う
ip-adapter-plus_sd15(plus):画像を細かい区画ごとに見るので、標準より見本に近くなる
ip-adapter-plus-face_sd15(plus-face):plusと同じ仕組みで、顔を切り抜いた画像を見本にする
私のモデルは別のドライブにまとめているので、extra_model_paths.yamlにipadapter: ipadapter/の1行も足しました。
画像エンコーダーが約2.5GB、本体は3つで合わせて約240MBでした。
ワークフローに3つ足す
ワークフローは、前回までの7ノードに3つ足しました。

これまではLoad CheckpointのモデルをそのままKSamplerにつないでいました。
今回は、そのあいだにIP-Adapterをはさむ形です。
Load Image

見本には、前回AIに見せたのと同じ正面の立ち絵を使いました。
IPAdapter Unified Loader と IPAdapter

Unified Loaderは、presetで選んだ種類に合わせて、画像エンコーダーと本体をまとめて読み込んでくれます。
右のIPAdapterのweightが、見本をどれくらい強く効かせるかです。
start_at・end_atは0と1のまま(最初から最後まで効かせる)にしました。
プロンプトとネガティブは、前回まで使ってきたタグのものです。
ポジティブ(出したいもの)。
1girl, solo, grey hair, bob cut, blunt bangs, hair over eyes, short twin braids, black ribbon, grey eyes, half-closed eyes, sleepy, blush, white lab coat, oversized coat, black t-shirt, white socks, black loafers, chibi, flat color, monochrome palette, simple background, white background, standing, looking at viewerネガティブ(出したくないもの)。
lowres, bad anatomy, bad hands, extra fingers, worst quality, low quality, blurry, colorful, saturatedモデルはHassaku (SD1.5) v1.3、サイズは縦長の512×768です。
1つの条件につき、Seedを20260920〜20260924に変えて5枚出しました。
まずは画像なし
比べる元として、IP-Adapterをつながずに5枚出しました。

白衣は出ていますが、全身が入ったのは5枚中2枚で、グレーのコートの子もいます。
髪はどれもまっすぐのボブで、三つ編みはほとんど出ていません。
強さを変える
まず標準のIP-Adapterで、weightを0.4・0.7・1.0・1.5に変えました。
変えたのはweightだけです。

画像を見せただけで、20枚すべてが正面向きの全身になり、白衣も揃いました。
立ち絵の構図まで、見本に寄せられているようです。
一方で、weightを0.4から1.0まで上げても、見た目はあまり変わりませんでした。
背景はどれもグレーのままで、三つ編みもたまにしか出ません。
1.5まで上げると、脚の横に灰色のしっぽのような形が出てきました。

強くしすぎると、見本に無いものまで描き始めるようです。
アダプターの種類を変える
次に、weightを0.7に固定して、アダプターの種類を変えました。
plus-faceだけは、立ち絵から顔まわりを切り抜いた画像を見本にしています。


plusで、一気に目標の子に近づきました。
黒いTシャツのワンピース丈、左右の三つ編み、白い背景が、5枚とも出ています。

ただ、手が黒い手袋のようになった子が多く、足元のローファーも出なくなりました。
細かい区画ごとに見る分、立ち絵の袖口や影を、別のものとして拾っているのかもしれません。
plus-faceは、顔が大きく描かれる絵が増えました。
全身が入ったのは5枚中2枚です。
そのかわり、眠そうな目と頬の赤みは、いちばん目標の子に近い気がします。

顔専用のFaceIDは動かなかった
IP-Adapterには、顔に特化した「FaceID」という種類もあります。
モデルカードによると、画像エンコーダーの代わりに、顔認識のモデルで取り出した顔の特徴を使う仕組みです。
顔認識にはinsightfaceというライブラリを使うので、ComfyUIに同梱のPythonにpipで入れました。
FaceID Plus v2の本体と、セットで使うLoRAも置きました。
顔を見つけるモデル(buffalo_l、約280MB)は、最初の実行のときに自動でダウンロードされました。
ワークフローは、Unified LoaderとIPAdapterを、FaceID用のノードに差し替えるだけです。
見本は、plus-faceと同じ顔の切り抜きにしました。

実行すると、FaceIDのノードで止まりました。
詳細を開くと、エラーの中身はこうでした。

顔が見つからない、と言われています。
切り抜きが小さすぎるのかと思い、立ち絵の全身と、顔が大きく写った上半身の画像でも試しました。
3枚とも同じエラーで、1枚も生成できませんでした。
ノードのコードを見ると、顔を探す解像度を640から320まで下げながら探し直していましたが、それでも見つかりませんでした。
少なくともこの子の絵では、FaceIDは使えませんでした。
ついでに座らせてみる
最後に、いちばん近かったplus(weight 0.7)のまま、プロンプトのstandingをsitting, on chairに変えてみました。
変えたのはプロンプトのこの部分だけです。

画像を見せたままでも、ちゃんと椅子に座ってくれました。
白衣と黒いTシャツ、三つ編みも、座った姿のまま残っています。
ただ、5枚とも正面を向いて、同じような座り方になりました。
画像なしのほうが、椅子の向きや体の角度はばらけています。
立ち絵の正面の構図にも、引っぱられているのかもしれません。
結果のまとめ
プロンプトは変えずに画像を見せるだけで、白衣・全身・モノトーンの配色がそろいました。
中でもplusは、黒いTシャツや三つ編みまで拾ってくれて、これまででいちばん目標の子に近づきました。
一方で、強さを上げすぎると見本に無いものが出てきたり、構図まで見本に寄ったりしました。
顔専用のFaceIDは、この子の顔を見つけられず、動きませんでした。
今日わかったこと3つ
文章で書くより画像を見せるほうが、服や配色がずっと伝わることがわかった
IP-Adapterは強さより種類で結果が大きく変わり、この子ではplusがいちばん近かった
顔専用のFaceIDは、アニメ絵の顔を見つけられないことがあるとわかった
次は、プロンプトの書き方(ネガティブの有無・強調・タグの順番)を試してみたいと思います。
今回使ったワークフローです。前回の7ノードに、Load Image・IPAdapter Unified Loader・IPAdapterの3つを足しています。Load Imageの画像とモデル本体は含まれていません。
【次の記事】
【おすすめ記事】