メインコンテンツへスキップ
見出し画像

【JSON配布】FLUX.2 [klein]ワークフロー構築。リファレンス画像参照・LoRA・アップスケール統合版の解説

    ※追記:以下の記事がこちらのワークフローの最新版です。

    ComfyUIにて、FLUX.2 [klein]の公式ワークフローには実装されていない、T2Iベースでのリファレンス画像参照、LoRA、アップスケーラーを統合した実践用ワークフローを組みました。

    記事の最後でJSONファイルも配布しています。

    1.ワークフローの全体像

    これが今回構築したノードです。

    ComfyUIのワークフロー
    ComfyUIのワークフロー

    何ができるかというと、例えば自分のロゴをリファレンス画像として使えば、簡単に生成画像の中にそのロゴを入れ込むことができます。

    生成画像
    生成画像
    リファレンス画像
    リファレンス画像

    2.なぜ独自に組む必要があったのか

    公式のワークフローにも画像参照の仕組みはありますが、基本的には入力画像をベースにした加工に縛られる仕様になっています。

    公式のFLUX.2 Kleinのワークフロー
    公式のFLUX.2 Kleinのワークフロー

    わたしがやりたかったのは、プロンプトを主軸としたT2Iでゼロから画像を生成し、そこに読み込んだ画像を単なる「素材」として介入させること。

    どうせ自分でワークフローを組むことになるなら、自分が一番使いやすいように、欲しい機能を全部詰め込んでしまおうと考えたのが始まりです。

    公式はサブグラフ化された独自サンプラーを使っているため表面上はカスタマイズしにくいですが、中身を見て解析し、自分のフローに取り入れました。どうせ組むならと、実務で必須になるLoRAやアップスケーラーも最初から組み込んでいます。

    3.動作環境と必須パーツ

    今回のワークフローを動かすために必要なモデルは以下の通りです。
    わたしは9Bモデルを使っていますが、4Bモデルでも普通に動きます。

    使用モデル

    • Fluxモデル: flux-2-klein-9b-fp8.safetensors
      (ComfyUI\models\diffusion_models)

    • テキストエンコーダー:qwen_3_8b_fp8mixed.safetensors
      (ComfyUI\models\text_encoders)

    • VAE:flux2-vae.safetensors
      (ComfyUI\models\vae)

    • アップスケーラー:4x-UltraSharp.pth
      (ComfyUI\models\upscale_models)

    動作環境

    参考までに、わたしの環境と実際の生成にかかった時間を載せておきます。

    • PCスペック: Intel Core Ultra 7 265K / GeForce RTX 5070 Ti

    • 生成時間: 4秒 / 1枚(1024*1024 / VRAM - 13.3GB)

    • アップスケール込み:13秒 / 1枚(4096*4096 / VRAM - 15.2GB)

    ComfyUIのログ
    ComfyUIのログ

    4.実務向けのモジュール化と仕組み

    ワークフローは、処理ごとにグループ分けしてモジュール化しています。

    リファレンス参照、LoRA、アップスケーラーなどは、それぞれグループ単位でバイパス可能です。使わない機能は無効化してしまえば、無駄な生成時間を削れます。

    仕組みとしては、前述した通り、公式のサブグラフを展開して、T2Iの生成プロセスにリファレンス画像を素材として割り込ませているだけ。

    ちなみに、今回配布するワークフローではリファレンス画像を1枚しか繋いでいませんが、複数枚の参照も可能です。リファレンス画像関連のノードをそのままコピーして、直列に繋いでいけば簡単に拡張できます。用途に合わせて組んでみてください。

    5.ワークフロー配布

    構築したワークフローのJSONを置いておきます。

    ダウンロードしたjsonファイルをComfyUIの画面にドラッグ&ドロップするだけで使用できます。

    ComfyUIに読み込んだら、各Loaderノードでご自身の環境に合わせたモデルを指定してください。あとは、使いたい機能のバイパスを解除してプロンプトを回すだけです。各自の環境で試してみてください。

     
     
    検索しても出てこない、自分で仮説を立てて検証した実践知をここにまとめます。

    あなたへのおすすめ