メインコンテンツへスキップ
見出し画像

comfyUI ~ FLUX編

    さて、fluxですが、FLUX2が登場していますので
    そちらを見ていきます。古いFLUX1は末尾で触れます

    FLUX.2は設計段階から「複数画像の参照(Multi-Reference)」を想定して作られています。そのため、従来のIP-Adapterをパッチとして当てるのではなく、モデル自体が持つ画像編集・参照能力をネイティブに引き出すワークフローに移行しています
    ModelSamplingFluxノードなども必要らしいです

    F2 klein 4b (t2i)

    4b版をしばらく発見できなったのですが、
    さきほど見つけました(SeaART公式のフロー)

    画像
    CLIP:qwen3 4b
    VAE:flux2vae.safetensors
    特に不思議な点はなく、サンプラーが分解型になっている
    左下に未適用のレファレンス用ノードがあるが、
    VAEエンコードしてリファレンスlatentとして
    Conditioningに接続する
    画像
    SeaARTでbase版しか選択できないエラーがある
    ・・ローダーを間違えているのかもしれない

    Flux2 Klein 9bのワークフロー t2i

    9b版です
    CLIPに違いがあり、qwen3 8b を使用します

    画像
    普通のKsamplerも使用できそう
    画像
    話と違ってFluxガイダンスは
    接続しなくても動きますねえ
    画像
    最初から巨大なサイズの潜在画像を使用
    ローカルによってはVRAMが溢れるかもしれない・・



    Flux2 Klein のFaceSwap

    9B版です。リファレンスLatentを二つ直列につないで
    サンプラーに接続します
    今回はimage1の顔をimage2の顔にすり替えるように
    プロンプトに指示します。

    位置合わせやマスクも特に必要としないため
    簡単です

    画像
    kv cache版を使用
    画像
    フェイススワップだが、着物を着ていたので服が混ざった
    なるべく顔だけを用意したいか

    Flux Klein 9b kv cache oupaint

    画像拡張系のノードを追加して
    画像を拡張できる

    画像
    フロー全体
    画像
    分解されたサンプラー
    画像
    グループをまとめると使いやすいかもしれない
    画像
    画像
    左下の蛙の画像を使用する
    背景の変更と横長に拡張する
    画像
    横長に変更した

    F2 klein kv inpaint

    部分修正です
    マスクを使用して顔の一部を変更したりします

    画像
    stitchノード使用してみた
    読み込む画像はマスク付きの画像を選ぶか、
    編集して新たに追加する

    しかし、flux2の画像処理・テキスト理解能力が高いことを考えると
    逆にstitchなどは使用せずに、reference latentノードを
    使用するだけにしたほうがいいでしょう


    F2 klein 9b kv cache キャラクターシート作成

    応用といいますか、同様に、一枚の画像から
    アングル変更を無理やり行います

    画像
    "change angle to side view"
    一枚絵で無理やり横を向かせる


    同様にキャラクターシートを作成します

    画像
    キャラクターシートを作成

    create character sheet of realistic girl of image1. multi angle(front, side, dutch angle, from above , from below), white background,

    プロンプト

    ・・以上FLUX2 klein版についてみてきました
    ProやFlexなどはAPI仕様です

    以降は一応、旧FLUX1版を振り返ります



    😎FLUX1 t2i(基本

    ・・特に変わったところはないです
    ほとんどいつも通りです

    画像
    F1はCLIPにt5xx~を使用する
    テキスト理解力が高く、自然言語での入力が可能
    VAE: ae.safetensors
    画像
    Loraを追加したもの


    💖FLUX1 dev ControlNet

    コントロールネットです。大きいので2分割します

    Canny, HED、Depth の3種類を選んで
    接続するタイプを表示します

    画像
    コントロールネットを選ぶ
    画像
    コントロールネットをサンプラーに接続
    他はいつも通りの設定
    flux2が出ていることもあり、古いフローという印象

    FLUX1 Inpaint

    Flux fill モデルを使用します。拡張やインペイントで使用します
    また、Differential Diffusionで補強する画像境界を滑らかにします

    画像
    口元だけを再生成
    画像
    Flux1 Fill(SeaART)
    インペイントの用途に加え、
    HDfixでも使用されているようです

    Flux1 IPA

    画像

    IPAdaptorのノードを使用してサンプラーとモデルの間に
    挟みます。使用感はかなり重め
    生成に失敗することも多いでしょうか

    ※)IPAは効果が非常に強力な分、著作権には特に注意してください


    🐱‍🐉FLUX2 dev

    順番が前後してますが、F2 dev fp8です(t2i
    使用できるCLIPは色々種類があるようです

    画像
    左下のリファレンス画像をVAE エンコードすれば
    i2iに変更可能

    特筆するべきところはないです(フロー的には
    ※)fp16などはvramの使用量が多いかもしれません
    ※)BFLのライセンス的には注意点しかないです



     
     
    AI学習コーチをはじめました。 AIビジネスについても紹介しています。 当サイトはアフィリエイトで運用されています

    あなたへのおすすめ