メインコンテンツへスキップ
見出し画像

【神絵の救済】SDXLの指ガチャはFluxでねじ伏せろ。|異種モデルInpaint術|ComfyUI|画像生成AI|RX9060XT

    SDXLで生成した絵の指が破綻する問題は、同じSDXLのInpaintでは構造的に修正しにくい。手足の骨格理解が得意なFluxを「部分修正専用」として外注呼びすることで、構図を壊さずにピンポイント救済できる。

    【1】この絵、顔も構図も完璧なのに…

    やったと思った瞬間に、気づく。

    指が6本ある。 手の甲が溶けている。 親指が逆に曲がっている。

    顔の造形は神がかっている。背景の光の当たり方も申し分ない。構図だって、10回ガチャを回してやっと出た奇跡の1枚だ。なのに、手だけが現実を拒否している。

    この痛みは、AI画像生成を少しでも触ったことがある人間なら全員わかるはずだ。

    Seedを固定してプロンプトを調整してみる。
    masterpiece, perfect hands, correct fingersと書き足す。
    ネガティブプロンプトにextra fingers, fused fingersを詰め込む。

    それでも、変わらない。

    なぜなのか。SDXLは、「見た目の質感を出す力」と「手足の骨格を正確に理解する力」が、もともと別の話だからだ。どれだけプロンプトで祈っても、モデルが持っていない構造理解は生えてこない。プロンプトはリクエストであって、性能の壁をぶち破る呪文ではない。

    これは、私の気合の問題でも、プロンプトの書き方の問題でもない。SDXLというモデルの設計上の仕様だ。

    【2】「SDXLの絵はSDXLで直す」という思い込みを、捨てる。

    常識的に考えると、SDXLで生成した絵の修正はSDXLのInpaintで行うはずだ。同じモデルなんだから、整合性がとれる。なんとなく、そう信じていた。

    この常識が、ガチャ沼の正体だった。

    SDXLのInpaintで、崩れた指の形を大きく変えようとDenoise(ノイズ除去強度)を上げるとどうなるか。SDXLの骨格理解力では正しい手が一発で生えてこず、今度は別の形に崩れた手が生まれるガチャ沼に陥る。 かといってDenoiseを下げれば、元の崩れた骨格に引っ張られて同じ崩れが再発する。「壊れた設計図」から抜け出せないのだ。

    崩れた骨格に引っ張られるか、新しいバケモノを生み出すか。これが同モデルInpaintの地獄だ。

    ではどうするか。ふとした思いつきで、発想を切り替えた。

    「手足の構造理解が異常に高いモデルに、修正だけを外注する」

    Fluxは、SDXLとは異なるアーキテクチャで訓練されており、人体の骨格、特に手足の構造を非常に高い精度で扱える。通常はFluxで最初から絵を生成するわけだが、今回やることはそれじゃない。

    Fluxに「この部分だけ直してくれ」と外注に出すだけだ。

    絵の主権はSDXLのまま。骨格修正という専門作業だけを、得意な別のモデルに委託する。異種格闘技のような組み合わせだが、これが実際に機能した。

    画像

    【3】Before / After

    以下の画像は、以前AnimagineXLで生成した◯ァイオレットエヴァーガーデン風の画像だ。

    画像

    いい感じに出来たと思ったが、案の定、指が破綻していた。
    この画像をFlux.1で修正したのが以下の画像だ。

    画像
    画像

    拡大しなければわからない位の違和感のないレベルに修正出来た。
    見てほしいのは、元の絵が「壊れていない」ことだ。

    髪の毛の質感も、服の光沢も、背景の奥行きも変わっていない。書き換わったのは、マスクした指の領域だけだ。

    マスク部分のDenoiseを上げ、骨格を強制的に上書きさせた時の「正しい構造を出力する打率」。これがFluxはSDXLとは次元が違う。SDXLで何十回も回すガチャを、Fluxなら数回の外注でクリーンにねじ伏せることができる。(流石に一発とはいかなかったが、4、5回くらいで出来た。)

    ついでに目の修正もやってみた。GIFにしてみたので瞳に注目して欲しい。

    画像

    今まではガチャであたりが出るのを待っていたが、Flux.1でのInpaintが実用に足るので、今後の生成効率はかなり改善されそうだ。

    次回の記事では、具体的な方法を解説しようと思う。

    もしこの記事が役に立ったなら、まずはスキで教えてほしい。そして、サポートしていただいた方には心より感謝を。いただいた投資は、次回の検証代として全額突っ込む。

    AI副業への挑戦、PCの買い替えやアップグレードを考えているなら👇️の記事も参考にして欲しい。

    プロンプト作成を簡単にするノード👇️


     
     
    RadeonでAIの検証をしたり、思想を語ったりしてます。 RX 9060 XT (16GB) でRadeon限界に挑む。相棒のAI「秘書ちゃん」と共に失敗も成功も全公開!役立つ情報を届けます! ※記事よってはPR広告を掲載しています。詳細は固定記事参照。

    あなたへのおすすめ