メインコンテンツへスキップ
見出し画像

Latent Upscaleは窓から投げ捨てろ!

    過去記事で何度か取り上げたようにAnimaのアップスケールにはいろいろと罠が多いのですが、Latent Upscaleもそのうちの一つです。
    Latent UpscaleはSD1.5時代に考案された手法なので、AnimaやKrea2等の最近の画像生成モデルでは有用性が下がっています。特性を理解して工夫すれば面白い効果が得られることもありますが、扱いが難しいです。

    Latent Upscaleの本質について解説した記事が無かったので、本記事でその理由と仕組みを解説します。
    そんなこと知ってるよという人も、Latent Upscale直後(img2imgによる再描画前)の画像を見たことが無ければぜひ見ていってください。


    2026/8/3: 「描き込みを増やす効果はある」という指摘コメントに従って修正。「SD/SDXLでの描き込み追加・味変」と「最近の画像生成モデルには不向き」のタイトルを変更、追記。全体的に「AnimaやKrea2では描き込みを増やす効果がない」または「使うべきではない」と読める表現を訂正しました。
    詳細は以下の記事をどうぞ。

    Latent Upscaleとは

    用語の定義

    下図はLatent Upscalerを用いたHires.fixをフロー図で表したものです。

    画像
    Latent Upscalerを用いたHires.fixのフロー図

    薄黄色のHires.fix全体を指して「Latent Upscale」と呼ぶ人もいますが、本記事では緑色のLatent UpscalerによるLatent画像の拡大処理のみを「Latent Upscale」と呼ぶものとします。

    また、UpscaleとUpscalerは以下のように使い分けます。

    • Upscale: 画像を拡大する処理
      ComfyUIではUpscale LatentやUpscale Imageノードで拡大すること

    • Upscaler: 画像を拡大するアルゴリズムやモデル
      ComfyUIではUpscale LatentやUpscale Imageノードそのもの

    歴史

    ハッキリしたことは分かりませんが、Latent Upscale(を用いたHires.fix)は2022年頃のSD 1.5登場前後の推奨生成解像度が512x512程度だった時代に考案され、SD 1.5からSDXL 1.0初期までに多用された手法のようです。Stability AI社による公式の手法ではなく、誰かが「試してみたらうまくいった」ものであったようです。

    Stable Diffusion web UI (A1111) に実装され、その後継であるForge Neoにおいても下図のようにHires.fixの初期状態でUpscalerとしてLatentが選択されています。

    画像
    Forge Neo 2.27のHires.fixの初期状態

    そのため、Hires.fixのUpscalerにはLatentを使うのが基本と思ってしまう初心者がいるかもしれませんが、そんなことはありません。
    Latent Upscaleは取り扱いが難しく、
    また最近のAnimaやKrea2では高解像度対応やプロンプト追従性が高まったことなどで、相対的にLatent Upscaleの有用性が低くなっています。

    Latent Upscaleの仕組み

    Latent Upscaleは、nearest-exact, bilinear, bicubic等のアップスケールアルゴリズムを、文字通りLatent空間で(Latent画像に対して)適用するものです。
    Latentの形式は画像生成モデルによって異なりますが、ピクセルでの形式に比べて解像度、RGB情報、その他の情報がかなり圧縮されています。

    下表は各形式のLatentの圧縮率を整理したものです。

    項目SDSDXLFlux.1Qwen-Image解像度1/8 1/8 1/8 1/8圧縮率サイズ1/48 1/48 1/12 1/12圧縮率適用SD 1.5 SDXL 1.0 Flux.1Qwen-Imageモデル Illustrious Z-ImageAnima NoobAI Krea2\begin{array} {c|c|c|c|c} \bf{項目} & \bf{SD} & \bf{SDXL} & \bf{Flux.1} & \bf{Qwen}\text{-}\bf{Image}\\ \hline \text{解像度} & \text{1/8} & \text{1/8} & \text{1/8} & \text{1/8} \\ \text{圧縮率} \\ \hline \text{サイズ} & \text{1/48} & \text{1/48} & \text{1/12} & \text{1/12} \\ \text{圧縮率} \\ \hline \text{適用} & \text{SD 1.5} & \text{SDXL 1.0} & \text{Flux.1} & \text{Qwen-Image} \\ \text{モデル} & & \text{Illustrious} & \text{Z-Image} & \text{Anima} \\ & & \text{NoobAI} & & \text{Krea2} \\ \end{array}

    項目SD1.5SDXLFLUX.1Qwen- ImageLatent4ch 4ch 16ch 16ch channelsDown-1/8 1/8 1/8 1/8sampling圧縮率1/481/48 1/121/12本家以外 N/AIllustrious Z-ImageAnimaでの採用NoobAI Krea 2\begin{array} {c|c|c|c|c} \bf{項目} & \bf{SD1.5} & \bf{SDXL} & \bf{FLUX.1} & \bf{Qwen}\text{-} \\ & & & & \bf{Image} \\ \hline \text{Latent} & \text{4ch} & \text{4ch} & \text{16ch} & \text{16ch} \\ \text{channels} \\ \hline \text{Down-} & \text{1/8} & \text{1/8} & \text{1/8} & \text{1/8} \\ \text{sampling} \\ \hline \text{圧縮率} & \text{1/48} & \text{1/48} & \text{1/12} & \text{1/12} \\ \\ \hline \text{本家以外} & \text{N/A} & \text{Illustrious} & \text{Z-Image} & \text{Anima} \\ \text{での採用} & & \text{NoobAI} & & \text{Krea 2} \\ \end{array}

    このような高圧縮空間での処理となるため、ピクセルでの処理に比べるとアップスケールの品質は極めて低いものとなります。
    実例は後で示しますが、Latent Upscaleは単体では品質が低すぎるため、Hires.fixのように直後の再描画 (img2img) とセットで使うことが必須となっています。

    画像
    Latent Upscalerを用いたHires.fixのフロー図(再掲)

    「用語の定義」で挙げたように、Hires.fix全体を指して「Latent Upscale」と呼ぶ人がいるのはそのためです。

    参考までに、ピクセルUpscaler (Image Upscaler) を用いたHires.fixのフロー図は下図のようになります。A1111やForge Neoでは意識することはありませんが、ComfyUIではこれと同等のワークフローを組む必要があります。

    画像
    ピクセルUpscalerを用いたHires.fixのフロー図

    Latent Upscaleの品質

    A1111やForge Neo等のWebUIでは、Latent画像は内部で処理され外部に出力されることはないため、Latent Upscaleの品質を直接確認することはできません。
    ComfyUIで以下のようなワークフローを組み、VAEを以下の3通りに変更してそれぞれbilinearで2倍にLatent Upscaleした画像を確認しました。

    画像
    Latent Upscaleのワークフロー

    念のため、ピクセル画像でのbilinear 2倍アップスケールも載せておきます。

    画像
    Image Upscaleのワークフロー

    元画像

    • サイズ:896 x 1152

    画像

    ピクセル画像でのアップスケール例

    画像

    SDXL LatentにおけるLatent Upscale例

    画像

    Flux.1 LatentにおけるLatent Upscale例

    画像

    Qwen-Image LatentにおけるLatent Upscale例

    画像

    品質の総評

    SDXL Latentが特に酷く、Flux.1 LatentとQwen-Image Latentについてもかなり酷い品質であることが分かります。
    Latent Upscaleを用いたHires.fixでは、再描画 (img2img) のDenoiseが0.3程度ではぼやけたりブレたりしたような画像になり、Denoiseを0.7程度まで上げなければならないのは、単純にLatent Upscaleの品質が低いためです。

    Latent Upscaleを用いたHires.fixの効果

    👍描き込み追加・味変

    Latent Upscaleでアップスケールした画像をよく見ると、Flux.1 LatentとQwen-Image Latentでは単純にぼやけているだけですが、SDXL Latentでは元画像と色の異なるノイズも混じっています。
    私見ですが、このノイズが高Denoiseと相まってSD/SDXLでのLatent Upscaleを用いたHires.fix特有の「味」や描き込み追加の素になっている気がします。


    2026/8/3:
    「SD/SDXLでの描き込み追加・味変」からタイトルを変更しました。
    AnimaやKrea2でも描き込み追加の効果はあるようです。ただ個人の主観ですが、SD/SDXLに比べるとLatentとモデルの違いによる効果の違いはあるように思います。

    👍省メモリかつ高速

    Latent Upscaleは他のアップスケール方法に比べて省メモリかつ高速です。しかしLatent Upscaleを使わなければならないほどVRAMが小さく速度が遅いのであれば、GPUを買い替えたほうがよいです。

    👎最近の画像生成モデルは他の方法で描き込み追加可能

    「👍描き込み追加・味変」に書いたことの逆ですが、Flux.1 LatentとQwen-Image LatentでのLatent Upscaleを用いたHires.fixは、SD/SDXLに比べると描き込み効果が異なる気がします。
    またモデルアーキテクチャ (DiT) 、Sampler / Scheduler(ER SDE、Beta等)のいずれが原因か分かりませんが、最近の画像生成モデルではこれらのぼやけを再描画 (img2img) で修正しづらい場合があるようです。


    2026/8/3:
    「最近の画像生成モデルには不向き」からタイトルを修正しました。
    AnimaやKrea2ではプロンプトを詳細に書いたり、txt2imgで直接高解像度で生成したりすることでも描きこみを増やすことが可能ですので、SD/SDXLよりも有用性が下がっていると思います。

    👎「厳選」には不向き

    これまでの説明で自明ですが、厳選した画像だけをimg2imgでアップスケールしつつ高画質化するような用途には、Latent Upscaleはまったく向きません。

    AnimaやKrea2で使うべきアップスケール方法

    以上のことから、AnimaやKrea2等の最近の画像生成モデルではLatent Upscaleを無理に使わなくてもよいと思います。
    過去記事でも同じようなことを書きましたが、2048 x 2048クラスの解像度で画像を完成させたい場合、以下のいずれかの方法を使うのがよいです。

    • 方法1.アップスケールを使わず、2048 x 2048で直接txt2imgする。

    • 方法2.アップスケールにはESRGAN系や4x-UltraSharp等のアップスケールモデルを使い、再描画のDenoise値は0.2~0.4を使う。

    • 方法3.SeedVR2でアップスケールする。

    • 場合によってDetailerを併用する

    まとめ

    Latent Upscaleは、AnimaやKrea2等の最近の画像生成モデルでは有用性が下がっているということについて、その理由と仕組みを解説しました。

    もちろん自分の判断と責任で使ってもよいですが、「AnimaでLatent Upscale(を使ったHires.fix)がうまくいかないんだが?」と質問したり愚痴ったりして、周囲を困らせたり誤解させたりするのはやめましょう。

    このような感じで、技術的な内容を分かりやすく基本無料で解説しています。「スキ」「フォロー」「チップ」で応援よろしくお願いします。質問がありましたら遠慮なく「質問箱」へどうぞ。

    関連記事


    本記事の文章・画像等の無断転載・複製・改変・盗用を禁じます。
    発見した場合は黙認せず対応します。これらの行為を発見された方は、相手ではなく私までお知らせください。

    あなたへのおすすめ