メインコンテンツへスキップ
見出し画像

【時短の書】おしい画像の修正のレシピ|SDXL|Flux|Inpaint|ComfyUI|AI画像生成

    【概要】FluxによるInpaintを成功させるためのコツと設定値の解説。有料部分には、すぐ実践するための、ワークフローのJsonファイルを同梱。内容自体は、時間をかけて調べれば自力でも実行可能だ。本記事は調べる時間をスキップするためのものだと思ってもらいたい。
    本記事は以下の記事の続きになるので、まだの方はこちらから👇️

    【1】前回の続き

    SDXLで生成した絵の崩れた指を、Fluxのインペイントでピンポイント修正する。元の構図を壊さず、骨格だけを強制書き換えする手法だ。実際にやってみれば、その精度に驚くと思う。

    画像

    ただし、注意点が2つある。内容は以下だ。

    ■ フランケンシュタイン現象: アニメ塗りのキャラクターの手だけが、実写レベルの描写で書き換わる。顔と手が別の生き物になる現象。

    ■ ゴースト現象: 修正した領域に元の形が薄く残り、二重露光したような不気味な残像が出る現象。

    どちらも、Fluxが「賢すぎる」ことから来る副作用だ。Fluxはプロンプトの解釈精度が高い分、指定が甘いと自分で補完して全く別の絵を作りに行く。指定が過剰だと今度は元の絵の痕跡を引きずったまま上書きしようとして、混線する。

    この2つを防ぐ設定には、実際に検証で削り出した数時間分の収穫が詰まっている。

    また、検証には自作のプロンプト作成ノードを使用している。ワークフローに組み込んで、プロンプトの調整などを簡単にするためのツールだ。有料部分には含まれていない。
    興味がある方は以下の記事を読んで欲しい。

    【2】Flux Inpaintの絶対法則

    ■ プロンプト3大鉄則:「文脈ごと渡す」という発想の転換

    Fluxの言語処理(T5という大規模な言語エンジン)は、SDXLとは根本的に異なる。

    SDXLはタグの羅列に強い。anime girl, blue hair, smiling のような単語の積み上げを得意とする設計だ。

    Fluxは違う。自然な文章で「状況」を渡した方が、ずっと精度が上がる。

    インペイントで特に重要なのが、マスクした領域の外側の情報まで含めて記述することだ。

    たとえば、右手の指を修正したい場合。修正箇所だけを説明しても、Fluxは「この手がどんな人物の、どんな場面での手なのか」を文脈として理解できない。結果として、浮いた描写になる。

    以下の3点を自然な文章に組み込むことで、修正精度が大きく上がる。

    【鉄則1】誰の手か(キャラクターの属性)を明記する。

    【鉄則2】何をしている場面か(動作・状況)を添える。

    【鉄則3】修正箇所を具体的に指定する。

    ■ 画風指定の絶対防衛:フランケンシュタインを封じる1行

    フランケンシュタイン現象の原因はシンプルだ。Fluxが「この絵はリアル系なのか、アニメ系なのか」を判断できなかった場合、得意なリアル描写に寄せてしまうことがある。

    防衛策も同様にシンプルだ。プロンプトの冒頭に画風指定を固定すればいい。

    anime style illustration, をプロンプトの先頭に置く。これだけでいい。

    より確実に指定したい場合は以下のように拡張できる。 anime style illustration, cel shading, 2d, flat color,

    これを書くのを忘れた時点で、フランケンシュタインが発生する確率が跳ね上がる。

    修正前の元画像がどれだけアニメ調であっても、Fluxはプロンプトの指示を優先する。「見た目で空気を読む」ことはしない。明示した分だけ制御できる。それがFluxの仕様だ。

    先程の画像を例にプロンプトの解説をする。

    画像

    「若い女性。手にフォーカス。胸の前で両手で花を持っている。きれいな手。正確な形の指。」
    この様に日本語プロンプトを打ち込むと、以下のようになる。
    ※プロンプト職人でスタイル指定しているので、「anime style illustration, 」は自動的に挿入されている。

    画像

    【鉄則1】は「A young woman with beautiful hands」
    【鉄則2】は「holding flowers with both hands in front of her chest」
    【鉄則3】は「featuring perfectly shaped fingers」

    単語の羅列ではなく、状況の説明だ。Fluxはこの「文脈」を拾って、場面に溶け込む手を生成する。

    この先は有料記事になる。自力でエラーと格闘して時間を溶かすか。缶ジュース2本分でその「解答用紙」を買って今すぐ使うかだ。

    免責事項: 本ワークフローおよびプロンプトテンプレートは、私の環境(Radeon RX 9060 XT 16GB / ComfyUI Desktop版 / ROCm 7.2)で検証したものだ。Flux.1を使用するのでVRAM使用量は大きいので注意。ハードウェアや環境の違いにより、挙動が異なる場合がある。カスタマイズを含め、使用は完全自己責任でお願いする。プラットフォームの利用規約の遵守についても、各自で確認してほしい。

    VRAM容量が足りない方は👇️の記事も参考にして欲しい。


    役に立ったらスキしてほしい。投資してくれた方には心より感謝を。

    ■Inpaintの使い方

    まずは、修正したい画像を読み込む。

    画像

    ノード上で右クリックすると、バイパス、コピーに続いて、
    Open in MaskEditorがあるのでクリック。

    画像

    エディターが開くので、下記の設定をして、修正したい箇所を塗っていく。

    画像

    ■ パラメータの黄金比:ゴースト現象の封殺

    Inpaintを扱う際に、重要な設定値の説明だ。

    ゴースト現象(二重露光のような残像)の原因は、大半の場合2つのどちらかだ。

    原因A:マスクの不透明度が1.0(100%)になっていない。
    原因B:KサンプラーのDenoise値が低すぎて、元の情報を引きずっている。

    ComfyUIのマスクエディターは、デフォルト設定のまま使うと不透明度が1.0になっていないことがある。画面上で「塗れているように見える」状態でも、数値が0.8や0.9だったりする。

    設定の確認ポイントは以下の通りだ。

    【パラメータ設定:黄金比】

    ・マスク不透明度:1.0(固定。例外なし)
    ・マスクの硬さ(フチのぼかし):0.5〜0.7(硬すぎると周囲との境界線が浮く。柔らかすぎると修正が滲む。)
    ・KサンプラーDenoise:0.35〜0.5 

    Denoiseについて補足する。

    この値は「元の情報をどれだけ無視して新しく描くか」の強度だ。

    0.3以下にすると元の崩れた構造を引きずりやすくなり、ゴーストの温床になる。0.5を超えると今度は元の絵の質感と乖離した描写になり始め、修正箇所が浮く。

    0.35〜0.5の帯域が、「元の画風を尊重しながら、崩れた骨格だけを上書きする」ための実測の着地点だ。※瞳の色や、髪色を変える時は0.8前後がいい。これくらい強くしないと変わりにくい。

    (初回は0.40から試して、馴染み具合を見て微調整するのが早い。)

    設定が出来たら修正箇所を塗っていく。この時は袖の先も一緒に塗って修正した。

    画像

    塗り終わったら上部の保存をクリック。別の箇所を修正したい時はクリアを。マスクが出来たら以下のようになる。

    画像


    ■ 設定の全体像:手順の流れ

    以上をまとめると、インペイントの操作手順は以下になる。

    【1】元のSDXL画像をComfyUIにロードする。

    【2】マスクエディターを開き、修正したい領域(指・手)を塗りつぶす。 ・不透明度が1.0になっているか必ず確認すること。 ・Hardnessは0.5〜0.7に設定する。

    【3】プロンプトを作成する。
    ・先頭に anime style illustration, を置く。
    ・キャラクター
    ・場面

    修正箇所の3要素を自然な文章で記述する。

    【4】Denoiseを0.40に設定して生成を実行する。

    【5】結果を確認し、馴染みが甘ければDenoiseを0.35方向へ、解決しきれていなければ0.45方向へ微調整する。

    ■ 完成済みワークフロー(JSON)配布

    画像

    上記の全設定が組み込み済みの、ComfyUI用ワークフローJSONを配布する。
    ※左下の解説用の画像が読み込めないというエラーが出る可能性があるが、他の修正したい画像を読み込んでもらえれば解決する。ComfyUIの仕様上クリア出来なかった。申し訳ない。


    ダウンロードしたらComfyUIにドラッグ&ドロップして保存する。もしくは、C:\Users\(ユーザー)\Documents\ComfyUI\user\default\workflowsなど、自身の環境にコピペしてほしい。

    ■ 必須カスタムノードの自動補填(真っ赤な箱が出た場合)
    ダウンロードしたJSONファイルをキャンバスに放り込んだ際、いくつか「真っ赤な箱(未定義ノード)」が表示されることがある。動かすための道具箱が足りないというシステムからの警告だ。

    決して慌てず、以下の手順で道具箱を補充してほしい。

    1. 画面右のメニューから Manager を開く。

    2. Install Missing Custom Nodes(未インストール)をクリックする。

    3. リストアップされたノードをインストールし、ComfyUIを再起動(Restart)する。


    Fluxモデルは環境に合ったものを使用して欲しい。以下は私が使用しているモデルだ。VRAMが16GBであれば使用可能だ。

    Flux.1 Dev FP8 | flux1-dev-fp8.safetensors:
    https://huggingface.co/black-forest-labs/FLUX.1-dev-FP8/blob/main/flux1-dev-fp8.safetensors  (unetフォルダ)

    CLIP T5 XXL (FP8版) | t5xxl_fp8_e4m3fn.safetensors:https://huggingface.co/comfyanonymous/flux_text_encoders/blob/main/t5xxl_fp8_e4m3fn.safetensors  (clipフォルダ)

    CLIP_L | clip_l.safetensors:
    https://huggingface.co/comfyanonymous/flux_text_encoders/blob/main/clip_l.safetensors   (clipフォルダ)

    Flux用 VAE | ae.safetensors:
    https://huggingface.co/lovis93/testllm/blob/main/ae.safetensors  (vaeフォルダ)

    あとはプロンプトと修正画像を差し替えるだけで使用可能だ。

    【3】最後に

    Fluxのインペイントは、設定さえ固まれば再現性が高い。

    プロンプトで文脈を渡す。画風を冒頭で宣言する。マスクの不透明度を1.0に固定する。Denoiseを0.40から始める。

    この4点が揃った瞬間に、SDXLの「惜しい神絵」が完成品に変わる。


     
     
    RadeonでAIの検証をしたり、思想を語ったりしてます。 RX 9060 XT (16GB) でRadeon限界に挑む。相棒のAI「秘書ちゃん」と共に失敗も成功も全公開!役立つ情報を届けます! ※記事よってはPR広告を掲載しています。詳細は固定記事参照。

    あなたへのおすすめ