メインコンテンツへスキップ
見出し画像

Hires.Fixの仕組み理解して、AIイラストを効果的にアップスケールする

     webuiユーザーなら当たり前のように使っているである、画像を美しくアップスケールしてくれる「hires.fix」。
     良い感じでスケールアップしてくれるのですが、その仕組みはよく分からない知らないという人も多いのではないでしょうか?

     ただのアップスケールと比べると明らかに細部のディテールが美しく仕上がる一方で、パラメータによっては元の画像とはディテールの違いが大きくなって「アップスケールとは?」と疑問に思ったことがある人もいるのでは…。

     というわけで、今回はhires.fixの仕組みの基礎と、基礎を知ったうえでのプラスαな活用法を考えてみます。

     hires.fixは基本的にwebui用のもので、comfyで同じようなことをやる場合はノードの組み合わせで対応します。
     単純な解像度上げとは違ってアップスケーラーを挟む必要があり、さらにLatentアップスケールかESRGANアップスケールかで処理が変わりますが、この辺りは仕組みの説明の後に行います。


     hires.fixの仕組みを端的に説明すると「t2iで作った低解像度画像をアップスケールしてからi2iで仕上げる」です。
     要は特別な処理をしているわけではなくて、基本処理を組み合わせた「自動化」が hites.fix の本質です。
     またhires.fixはt2i画像を引き伸ばす仕組みなので、i2iタブには存在しません。

     いわゆる一般的なアップスケール(webuiだとEXTRAタブを使ったアップスケール)は、基本的に画像のディテールを拡大しても破綻しないように修正して引き延ばします。あくまで「元画像を引き伸ばして、足りない部分を無理なく加筆する」しくみです。

     hires.fixはもうちょっと複雑で「アップスケールした画像」をさらにi2iします。
     こうすることで引き延ばした画像を全体的を見ながら再構築でき、結果的にイラスト全体のクオリティが上がるというわけです。

     いきなりt2iで大きな画像を作らないのは、SDXLの学習解像度が1024x1024しかないため、それを遙かに超えるようなサイズだとま生成のクオリティが激下がりするためです。
     またhire.fixでスケールアップする場合でも、一気に拡大すると元画像にはなかった部分を書いたり構図が変化したりして、イラストの品質を保持できなくなります。

     そのためhires.fixによるスケールアップは1.5~2倍程度が望ましいと言われています。 

    アップスケールについて。Latentとそれ以外。

     hires.fixのアップスケールは「Latent系」と「ESRGAN系」に分かれます(それ以外にLanczosのような単純アルゴリズム型もありますが、今回は割愛)。
     この2つは同じアップスケール枠にありますが、仕組みはまったくの別物です。

     ちょっとややこしい話になりますが、SDXLなどのイラスト生成では「AIモデルが中身を操作できるデータ=Latent」と「イラストそのものである画像(ピクセル)データ」を扱います。
     Latentは数値の集まりなので、データを人間がみても何が描かれているかはまったく分かりません。
     画像データは人間が絵として認識できますが、AIはこれを直接作成したり書き換えたりすることができません。

     t2iもi2iもAIが計算して生成するのは「Latentデータ」です。
     そのLatentデータをエンコードして画像を生成します。

     2種あるアップスケーラーのうち、「Latent状態で拡大する(パラメータの数を機械的に増やす)のがLatent系アップスケーラ」で、「ピクセルデータをアップスケールする(AAやぼかしなどの補正技術を駆使してイラストを引き延ばす)のがESRGAN系」です。
     いろいろ違いはあるのですが、結果だけ言うと「Latent系の方が元画像と比べるディテールアップしやすいが、元画像との違いがでやすい」で、ESRGANはその逆です。
     Latentは元画像より書き込みが増えるやすのですが、その分構図が崩れたりパーツごとの整合性がおかしくなることも増えます。

     どちらを使うかは完全に好みです。多少の失敗は許容してベストな1枚を狙いたいならLatentで、元画像はそのままアップスケールしたいならESRGAN系が向いています。

     なお、アップスケールは方式を選ぶだけで、パラメータの入力などはありません。プロンプトも参照しません。
     denoisingもi2iでのノイズ量で、アップスケール時にノイズを足したりはしません。

    ComfyでHires.Fix的なことをやるためのワークフロー

     comfyでhires.fix的なことをやる場合、latentアップスケーラーを使うやり方の場合は、t2i→Ksamplerと来たLatentの流れをUpsacle Latentで拡大して、もう一度Ksamplerに入れればOKです。これはシンプルで簡単。

     ESRGANのようなピクセル系アップスケーラーの場合はちょっとややこしくて、t2iからKsamplerを通したLatentをVAEでデコードしてピクセルデータに変換したのち、アップスケーラーで高解像度したのち、さらにVAEでエンコードしLatentに戻してから最後のKsampler処理をします。
     なお、ESRGAN系の多くはスケール倍率の指定ができず、指定の倍率でしか拡大できません。例えばタイトルに「4x」ってあったら4倍専用です。
     4倍サイズで問題なければそのままKsampler通せばいいですが、メモリなどで解像度を下げたいとき縮小処理を差し込む必要があります。

    画像
    hires.fixを入れたワークフロー。ESRGANとLatentの両対応。
    このままだと両方同時出力するので、いらない方はグループごと止めてください。
    動作確認はしてAIに構造チェックもしてもらったけど、
    あまりcomfyを使わないのでどこかおかしいかも…。
    noteだとPNGが貼れないので、下にあるzipをどうぞ。

    仕上げのi2iについて

     Hires.Fixのパラメータのほとんどは最終段階のi2i行程のものになっています。数値によってイラストの内容が大きく変わるので、それぞれの効果を覚えておくと役立ちます。

    画像
    1. アップスケーラー
      Latent系は「AIによる描き込みが増えるけど、意図しない描写も増える」、GAN系は「プロンプトで出力したものをそのまま拡大」する。
      hiresかけずに大量出力して候補を絞る場合、LatentでHiresをかけたときに候補イラストとの違いが気になるときはLatent以外を使うとよい。

    2. step数
      i2iでのstep数。t2iより少なくてよい。概ねt2i時の半分~20ぐらい。

    3. ノイズ強度
      t2i画像をどれほど強く書き換えするか。数値が~3程度だとほぼ元イラストのままで、7以上あると違いが目立つ。1にすると別のイラストになることも多い。
      1程度だと描き込みが足りずにスカスカ感が出てくるので、適当なバランスを探りたいところ。

    4. 倍率
      1.5倍~2倍ぐらい推薦。それ以上にすると崩れやすい&メモリ不足になりやすい。2倍以上にしたい場合はUltimateUpscalerのようなタイル式を使うとよい。

    5. ピクセル指定リサイズ
      縦横のピクセル数を指定して拡大/縮小。
      元画像と比率が違う場合はトリミングされる模様。

    6. CFG
      i2iだと大きな影響は出にくく、t2iと同じで問題ない。0だとt2iと同じ。
      t2iよりは大きなCFGでも破綻しにくいので、プロンプトの影響力を増やすためあえて大きな数字にする手もある。

    7. バッチ数
      繰り返す回数


    8. 6と同じ。表示バグと思われる(ウチの環境依存バグなのか、一般的なものかは分からないです…)


    9. t2iとは別のcheckpoint、sampler、schedulerを使うときに指定。指定しないときはt2iと同じものを使う。


    10. t2iと違うプロンプトを使いたいときはここで入力。
      ここはdynamic promptやnegpipのようなプロンプト入力覧に関わる機能拡張が効かないことが多い。プロンプト覧で(fat:-1)のようなマイナス重みを使うと画像崩壊することがあるので要注意。
      (別記事で適用可能にする機能拡張を公開予定)。

    LatentかESRGANか

     アップスケーラーにLatentとESRGAN系を使ったときの違いをまとめました(ESRGANはWEUIに付属しているR-ESRGAN 4x+ Anime6Bを使用)。
     どのアップスケーラーを使うかの参考にどうぞ。

    個人的なオススメ設定は
    プロンプトの再現性重視ならESRGANでノイズ0.3~0.4
    プロンプトでは書き切れない緻密なディテール描写に期待したいときはLatentで0.6~0.7ぐらいが多いです。
    あとは0.9~と強烈にノイズかけて「元画像無視で奇跡の一枚お願いガチャ」することもあります。

    画像
    これがt2iした1152x896の元画像。これを1.5倍の1728x1344にHires.Fixした。
    それぞれでノイズが0.3と0.7の2パターンを試している。
    画像
    こちらはアップスケール後の画像一覧。真ん中の子の髪型を見比べると分かるが、ESRGAN-0.3以外はポニーテイルが「追加」されている。
    また左上のようん、Latentで低ノイズだと描き足し量が足りずに画像がボヤけたり崩壊したりしがち。

    ※アップロード時に低解像度化されるので、細部を確認したいときはこちらのzipをどうぞ。

    あなたへのおすすめ