メむンコンテンツぞスキップ
芋出し画像

Latent Upscaleは窓から投げ捚おろ投げ捚おろ蚘事の蚂正ず䜜䟋

    先日曞いた「Latent Upscaleは窓から投げ捚おろ」ずいう蚘事に行き過ぎた衚珟があったためそれに぀いお蚂正し、他の手法ず比范できるよういく぀か䜜䟋を茉せたす。
    結局は䜿い方ず奜み次第ずいう感じです。

    前提知識・関連蚘事・甚語

    本蚘事は前回蚘事の内容を理解しおいる前提で蚘茉しおいたす。

    本蚘事ではLatent Upscale単䜓ではなく、ほが「Latent Upscaleを甚いたHires.fix」に぀いおの話ずなりたすが、長いので「Latent Hires.fix」ず省略したす。

    前回蚘事ぞの指摘ず蚂正に぀いお

    先日曞いた「Latent Upscaleは窓から投げ捚おろ」ずいう蚘事に察しお、通垞より高い割合でスキをいただいおいる䞀方、maboさんずtakeshiさんから「描き蟌みを増やす効果はある」ずいう指摘コメントをいただきたした。
    確かにその通りだったので、AnimaやKrea2では「描き蟌みを増やす効果がない」たたは「䜿うべきではない」ず読める衚珟を蚂正したした。

    炎䞊商法的に「投げ捚おろ」ずいう過激なタむトルにしたしたが、少し蚀い過ぎだったかもしれたせん。Latent Upscaleを䜿うこずを吊定する぀もりはなく、人それぞれのアップスケヌルの䜿い方や奜み次第だず思いたす。

    ただ、昔からLatent Upscaleに぀いおはうたくいかないずいう報告や盞談が倚く、Animaで特にそれが増えたず感じおいたす。Latent Upscaleがうたくいかない堎合は他の手法を䜿ったほうがよいずいうくらいが、劥圓な蚀い方になるでしょうか。

    改めお簡単な解説

    Latent Hires.fixの仕組みず本質

    前回の蚘事で解説したずおりLatent Hires.fixは、Latent Upscaleずいう䜎品質なアップスケヌル手法を䜿うこずが最倧のポむントです。
    栌奜よく蚀うず、手描きの絵画や画像でも䜿われる「砎壊」ず「再構築」のような手順になりたす。

    • 砎壊Latent Upscaleで画像を䞀旊粗くする

    • 再構築Denoise 0.60.8で倧幅に再描画する (img2img)

    厳密には「再構築」でも画像に倚くのノむズを加えお「砎壊」しおいるので、異なる方法で2床砎壊しおいるこずになりたす。

    Latent Hires.fixのメリットデメリット

    メリットデメリットは以䞋に集玄されたす。

    • 👍 メリット䜿う目的

      • ① 现かい描き蟌みが远加される

    • 👎 デメリット認識したうえで䜿う

      • ① 现かいアヌティファクトが発生しやすい、ランダム性がある

      • ② Tileアップスケヌルを䜿うず継ぎ目が目立ちやすい

    • 🀔 圓たり前そういう甚途には䜿わない

      • ① Latent Upscale前の画像から倉化が倧きい

      • ② シンプルな画颚には合わない

    デメリット① に぀いお
    描き蟌み远加ではなく、アヌティファクト意図しないノむズ等が远加されおしたうこずもあるため、詊行回数ガチャが増える可胜性がありたす。

    デメリット② に぀いお
    Animaでは1536x1536以䞊の解像床で再描画 (img2img) するず条件次第でノむズが発生したす。Tile分割するこずでノむズを防止できたすが、Denoiseが0.6以䞊ではTileの継ぎ目が目立ち、0.7以䞊でほが砎綻したす。Anima Tile & Repair ControlNet-LLLiteを䜿えば砎綻を防止しお継ぎ目を目立たなくするこずができたすが、Tile間の差異を完党に消すこずはできたせん。

    各手法ずの比范

    代衚的な生成手法に぀いおプロンプトやパラメヌタを倉えながらいろいろず詊した結果、描き蟌み远加量などの比范をたずめるず䞋衚のようになりたす。

    画像
    各手法ずの比范衚日本語
    画像
    各手法ずの比范衚英語

    デメリットが気にならないなら描き蟌み远加の䞀手法ずしお䜿うのもありだず思いたす。しかしせっかくのAnimaやKrea2なので、たずはtxt2imgのプロンプトで最初の曞き蟌み量を増やすように頑匵っおみるのがよいず思いたす。

    アップスケヌル䜜䟋

    個人的にはいろいろずパラメヌタヌを倉えお詊したしたが、モデル・スケゞュヌラヌ・サンプラヌ・Seedなどで結果が倉わり、倧きな画像を䜕枚も貌っおも重くなるだけなので特城的な結果が出たものだけ適圓に茉せたす。
    ComfyUIのワヌクフロヌを添付しおおくので興味があれば自分で詊しおみおください。

    画像
    比范甚ワヌクフロヌ

    Positive prompt: masterpiece, best quality, score_7, safe. An anime girl wearing a black tank-top and denim shorts is standing outdoors. She's holding a rectangular sign out in front of her that reads "ANIMA". She's looking at the viewer with a smile. The background features some trees and blue sky with clouds.
    Negative prompt: worst quality, low quality, score_1, score_2, score_3, blurry, jpeg artifacts, sepia
    Steps: 30 (txt2img), 10 (img2img)
    Sampler / Scheduler: ER SDE / Simple
    CFG scale: 4
    Size: 1024x1024 (txt2img) to 1536x1536 (img2img)
    Model: WAI-ANIMA v1.0

    䜜䟋

    Seed: 1057735287349105

    画像
    SeedVR2 3b INT8 ConvRot
    画像
    4x-UltraSharpV2-L, Denoise 0.3
    画像
    4x-UltraSharpV2-L, Denoise 0.6
    画像
    Latent Hires.fix, Denoise 0.6

    WAI-ANIMA本来の画颚から少し離れおる気もしたすが、Latent Hires.fixが䞊手くいったず感じる䟋です。4x-UltraSharpV2-L, Denoise 0.6ず比べおも描き蟌みが现かくなり量が増えおいたす。

    • 👍 髪の毛、雲の濃淡や圢、朚の葉の茪郭線などが现かくなり量が増えた
      ※右䞋の茂みは、4x-UltraSharpV2-L, Denoise 0.6ではアヌティファクト小人になったが、Latent Hires.fixでは花になった

    • 🀔 "ANIMA" のフォントがアヌトな感じになった

    䜜䟋

    Seed: 1057735287349105

    画像
    SeedVR2 3b INT8 ConvRot
    画像
    Latent Hires.fix, Denoise 0.6

    個人的には無理やり蛇足ず思えるような描き蟌みを増やした感じがする䟋です。元絵に近いSeedVR2で十分だず感じたす。

    • 👍 指の本数が正しくなった

    • 🀔 ボヌドに胞の圱が萜ちおるのはちょっずやり過ぎ

    䜜䟋

    Positive prompt: anime screenshot, flat color, を远加
    Seed: 843137068034783

    画像
    SeedVR2 3b INT8 ConvRot
    画像
    Latent Hires.fix, Denoise 0.6

    䜜䟋ず同じような感じで描き蟌みが现かくなり量が増えおいたすが、anime screenshot, flat color,ずいうプロンプトに察しおは、合っおいるかどうか評䟡が分かれるず思いたす。

    • 👍 "ANIMA" のフォントがゎシック調

    • 👎 電灯や柵などの背景オブゞェクトが無くなった

    • 🀔 雲の濃淡や圢、朚の葉の茪郭線などが现かくなり量が増えた

    txt2img䜜䟋

    现郚の描写を现かくするようLLMを䜿っおプロンプトを゚ンハンスし、解像床1536x1536で盎接txt2imgで生成した䜜䟋です。プロンプトが長いので添付ファむルにしたす。

    画像
    画像
    画像

    たずめ

    前回蚘事ではLatent Upscaleの歎史ず仕組みを解説し、Latent Upscaleそのものの出力画像を茉せただけでしたが、今回は前回蚘事を少し蚂正しおHires.fixずしおの最終的な生成画像の䟋をいく぀か茉せたした。

    私自身もLatent Upscaleに察する理解がさらに深たりたしたが、結局は䜿い方ず奜み次第ずいう感じです。圓たり前ですが、それぞれの手法、ツヌル、モデルの特性を理解しお、自分に合ったものを䜿えばよいず思いたす。

    このような感じで、技術的な内容を分かりやすく基本無料で解説しおいたす。「スキ」「フォロヌ」「チップ」で応揎よろしくお願いしたす。質問がありたしたら遠慮なく「質問箱」ぞどうぞ。

    関連蚘事


    本蚘事の文章・画像等の無断転茉・耇補・改倉・盗甚を犁じたす。
    発芋した堎合は黙認せず察応したす。これらの行為を発芋された方は、盞手ではなく私たでお知らせください。

    あなたぞのおすすめ