メインコンテンツへスキップ
見出し画像

第3回 LoRAってどう入れるの?i2iはどうやるの?迷いが消える亜型の基本(2026年から始めるComfyUI)

    ComfyUIを触り始めて、
    第1回・第2回を経て、そろそろこんな疑問が出てくる頃だと思います。

    • WebUIで使えたLoraは使えるの?

    • LoRAって、どうやってつなげばいいの?

    • t2iではなく、i2iを使う場合ってどうすればいい?

    今回はこのあたりを、
    「仕組みから分かる」ように分かりやすく説明していきます。

    難しそうに見えるけど、
    実は考え方はかなりシンプルです。


    LoRAを使うには、どうする?

    まず最初に混乱しやすいのがここ。

    ComfyUIでは、

    • LoRAをダウンロード(読み込み)するノードを入れる

    • 必要に応じてLoRAのトリガーワードをプロンプトに入れる

    必要があります。

    LoRAをダウンロード(読み込み)するノードを入れる場所は、基本は、

    Checkpoint(モデル)を読み込んだあと
    → KSamplerに入る前

    画像
    Load modelとKsamplerの間(赤枠部分)

    この間になります。
    前回の記事で書いた前半部の
    ・前半(モデル読み込み部分)=モデルやi2iなどの種類によって変わる
    部分になります。

    https://note.com/lucky_briony452/n/n1ec3b83fa07e

    「どこか特別な場所がある」というより、
    modelの流れの途中に差し込む
    という感覚でOKです。


    LoRAノードは2種類ある

    ここが今回の一番大事なポイントです。

    ComfyUIのLoRAノードには、

    • model のみに作用するもの

    • model+CLIP の両方に作用するもの

    この2種類があります。

    画像
    左がmodel+CLIP、右がmodelのみ

    これは見た目の違いではなく、
    「どこに効かせるか」の違いです。


    どちらを使うかの基本ルール

    キャラ要素がある場合 → model+CLIP

    • キャラクターLoRA

    • 特定人物

    • 顔の特徴がはっきりしたもの

    こういったLoRAは、

    「この単語は、このキャラだよ」

    とCLIP(文章の解釈側)に教える必要があります。

    なので
    👉 model+CLIP 両方につなぐ
    のが基本です。

    画像
    Load modelからmodelとCLIPをつなぎ
    modelは、Ksamplerへ
    CLIPは、CLIPテキストエンコーダー(プロンプト)へ
    つなぐ

    画風・質感・雰囲気系 → modelのみ

    • 画風LoRA

    • 塗り

    • 質感

    • ライティング

    • 全体の雰囲気調整

    こういうLoRAは、

    「絵の描き方」そのものを変えたい

    だけなので、
    言葉の解釈(CLIP)まで触る必要はありません。

    👉 modelのみにつなぐ
    これが安定します。


    画像
    modelのみの場合は、model通しをつなげば
    良いので簡単。

    服装・ポーズLoRAはちょっと特殊

    服装やポーズの場合は、

    • 基本は model+CLIP

    • でも 効きすぎることが多い

    という、ちょっとクセのある存在です。

    よくある現象

    • 体型が崩れる

    • 他の服装指定を無視する

    • ポーズが固定されすぎる

    こういう時は、

    model+CLIP → model のみ

    に切り替えるだけで、
    一気に安定することがあります。

    「再現性」より
    「破綻しないこと」を優先する判断ですね。


    t2iとi2iは、何が違うの?

    次は i2i の話です。

    WebUIだと
    「txt2img(t2i)」「img2img(i2i)」というタブがあり、「img2img」のタグを
    選ぶと、i2iが行える設定が出現します。
    しかし、ComfyUIにはその切り替えがありません。

    では、どうすればよいか?というと
    ・Ksamplerに入れるlatentの種類を変える
    ことでi2iに切り替えることが出来ます。


    t2iの場合:空のlatentを入れる

    前回の記事でお伝えした、t2iのワークフローでは、

    • Empty Latent Image(空の潜在画像)

    • それを KSampler に入れる

    画像
    空の潜在画像(Empty Latent Image)を
    Ksamplerに入れる

    フローになっていました。
    そうすることで、t2iが行えていました。

    i2iの場合:画像をlatentに変えてから入れる

    i2iでは、

    • Load Imageノード→VAE Encoder→ KSampler に入れる

    というフローになります。

    画像
    Load Imageノード→VAE Encoder→ KSampler

    latentを変えることで何をしているのか?

    では、Ksamplerに入れるlatentを変えることで何をしているのでしょうか?

    t2iの場合

    空のlatentを入れます。
    中身はほぼノイズ。
    つまり、

    何もないところから作る

    これが t2i です。


    i2iの場合

    Load Imageで入れた画像をVAE Encoderを通すことでlatentを作成します。
    この latent には、

    • 構図

    • 明暗

    • 大まかな形

    といった「元画像の情報」が、
    すでに入っています。


    なぜ、画像をそのまま使わないのか?

    ここが仕組み的に一番大事なところです。

    Stable Diffusion系(ComfyUI含む)の画像生成では、

    画像そのものではなく、latent空間で処理する

    設計になっています。

    KSamplerは、

    latent を少しずつプロンプト方向に変形する

    だけの存在です。

    だから、

    t2iの場合は、空の latentが入っているため、テキスト(プロンプト)の指示で、最初から画像を作っています。

    i2iの場合は、構図・明暗・大まかな形などの情報が入っている画像由来の latentを用いて、テキスト(プロンプト)の指示の方向に変化させる。
    言い方を変えると、入力した画像の構図・明暗・大まかな形を参考に、プロンプトの方向に変化させている。

    というワークフローにするのです。
    Stable Diffusion WebUI系(a1111,Forgeなど)では、この処理が、画面の裏で行っているため、見えないだけです。


    変化の割合を決めているのは denoise

    入力した画像をどれだけ変化させるのか決めているのは
    ・Ksamplerの設定にあるdenoise(ノイズ除去)
    です。

    画像
    denoise(ノイズ除去)

    このdenoiseは、WebUI系のi2iの設定にあるdenoiseと同じ役割に
    なっており、

    • denoise が低い(0に近づける)
       → 元画像を強く残す

    • denoise が高い(1に近づける)
       → 作り直しに近づく

    となっています。
    そのため、denoiseを1にすると、ほぼt2iと同じ挙動になりますが、それでも、空のlatentを使っているt2iに比べると、入力した画像の影響を少し受けます。

    このあたりのdenoiseの値を上手に調節出来るようになると、画像生成がグッと、上手になります。


    まとめ

    今回の話をまとめると、

    1)Loraをダウンロードするノードは
    Checkpoint(モデル)を読み込んだあと
    → KSamplerに入る前
    に入れる。

    2)LoRAをダウンロードするノードは、
    「どこに効かせたいか」でノードを選ぶ

    • キャラ → model+CLIP

    • 画風・雰囲気 → model

    • 服装・ポーズは状況次第

    3)i2iをするためには、

    Ksamplerに

    Load Imageで入れた画像をVAE Encoderを通して作成したlatent

    を入れる。

    ComfyUIは
    「難しい」んじゃなくて、
    WebUIで裏に隠れている中身が見えるだけなんですね。

    この仕組みが分かると、

    • どういう流れ、考え方でAIは画像生成をしているのか

    が、だんだん分かるようになってきます。


    次回予告

    次回は z-image について書きます。

    配線や設定が多くて戸惑いやすい ComfyUI ですが、
    出来るだけ、手間をかけず、高品質なイラストを作りたいと
    思うのではないかと思います。

    いろいろなモデルがありますが、z-image はその中でも
    初心者が扱いやすいモデルのひとつと思っています。
    実際、複雑な調整をしなくても、簡単に安定した結果が出やすく、
    「まず1枚ちゃんと出す」という段階でつまずきにくいです。

    そのため、初心者目線で「ここだけ分かれば十分」というポイントを
    拾って説明していきますので、引き続きお読みくださると嬉しいです。

    今回の記事もお読みいただき、ありがとうございます。
    モチベーション維持のため、スキのクリック、コメントお待ちしています。
    また、余裕がある方は、コーヒー代のお布施もまっています!!

    あなたへのおすすめ