メインコンテンツへスキップ
見出し画像

【ゼロからはじめる】SD1.5でアップスケールを比較してみる

    こんにちは。

    前回は、学習用の画像を43枚作り直してLoRAを学習しました。
    hakuinoko の1語で、白衣と黒いTシャツの子がそろって出るようになりました。

    目標はこの子を生成することです。

    画像
    ChatGPTに作ってもらった白衣の子。

    そして前回の結果がこれです。

    画像
    前回のLoRAで出た子。512×768。

    服はそろってきました。
    ただ、この絵の顔をアップにすると、こうなります。

    画像
    顔のアップ。

    線がぼやけています。
    絵が512×768と小さいので、大きく表示すると画質の低さが目立ちます。

    そこで今回は、出した絵を大きくする「アップスケール」を試してみたいと思います。

    そして今回の結果がこちらです。

    画像
    アップスケールした絵の、同じ場所。

    ここからは、この結果に至るまでの過程です。

    アップスケールとは

    アップスケールは、できあがった絵のピクセルの数を増やして、大きな絵にすることです。

    前回の絵は512×768で、ピクセルの数は約39万個です。
    縦と横を2倍にすると1024×1536になり、ピクセルの数は4倍の約157万個になります。

    最初から1024×1536で出せばよさそうですが、以前、SD1.5で大きいサイズを指定したら人数が増えました。
    なので、小さく出してから、あとで大きくすることにします。

    大きくする絵は、前回のLoRAで出した5枚をそのまま使います。
    絵は作り直さないので、変えるのは大きくするやり方だけです。

    そのまま2倍に引き伸ばす

    まずは何も考えずに、そのまま2倍に引き伸ばしてみました。
    ComfyUIに最初から入っている Upscale Image というノードで、幅を1024、高さを1536にするだけです。
    1枚0.1秒ほどで終わりました。

    画像
    左が2倍にした絵、右がその顔のアップ。

    ここから、3つのやり方を試します。

    ①4x-AnimeSharpを使う

    1つ目は、アップスケール専用のモデルを使うやり方です。
    絵を描くモデルとは別に、小さい絵を大きい絵にするためのモデルがあります。

    使ったのは 4x-AnimeSharp です。
    アニメ調の絵を4倍にするモデルで、ファイルは64MBでした。
    models\upscale_models フォルダに置くと、ComfyUIから選べるようになります。

    4x-AnimeSharp:https://openmodeldb.info/models/4x-AnimeSharp

    ノードは Load Upscale Model と Upscale Image (using Model) の2つで、どちらも最初から入っています。
    このモデルは4倍にするモデルなので、いったん2048×3072になります。
    そのあと Upscale Image で1024×1536に縮めました。

    画像
    左の絵を読み込んで、モデルで4倍にして、2倍の大きさに戻す。

    5枚の顔のアップです。

    画像
    上がそのまま2倍、下が4x-AnimeSharp。左からSeed 20260920〜20260924。

    5枚とも、線がくっきりしました。
    目や口の形は、元の絵から変わっていません。

    時間は1枚2.3秒ほど、VRAM(グラフィックボードのメモリ)は最大で約3.4GBでした。
    元の絵を1枚出すのが2.2秒ほどだったので、絵を出すのと同じくらいの時間です。

    ②RTX Video Super Resolutionを使う

    2つ目は、RTX Video Super Resolutionです。
    NVIDIAのRTXのグラフィックボードで使える機能で、名前のとおり動画を高い解像度にするためのものです。
    ComfyUIでは、カスタムノードを足すと1枚の絵にも使えます。

    Nvidia_RTX_Nodes_ComfyUI:https://github.com/Comfy-Org/Nvidia_RTX_Nodes_ComfyUI

    カスタムノードを custom_nodes フォルダに入れて、nvidia-vfx というライブラリを入れました。
    配布ページには、RTXのグラフィックボードでしか動かないと書かれています。
    モデルのファイルを自分で置く必要はありませんでした。

    ノードは RTX Video Super Resolution の1つだけです。
    倍率(scale)を2、品質(quality)をいちばん上のULTRAにしました。

    画像
    絵を読み込んで、ノード1つで2倍にする。

    5枚の顔のアップです。

    画像
    上がそのまま2倍、下がRTX Video Super Resolution。

    こちらも5枚とも線がくっきりして、目や口の形は元の絵のままでした。
    ①と見比べても、顔のアップではほとんど違いがわかりません。

    時間は1枚0.6秒ほどで、①の4分の1くらいでした。
    VRAMの数字は、動かしているあいだもほとんど増えませんでした。

    ③大きくしてから、もう一度描き直す

    3つ目は、大きくした絵をもう一度モデルに描き直させるやり方です。
    「Hires.fix」と呼ばれているやり方と同じ考え方です。

    そのまま2倍に引き伸ばした絵を VAE Encode で潜在画像に戻して、KSampler にもう一度通します。
    モデル、LoRA、プロンプト、Seedは元の絵を出したときと同じです。
    変えたのは、KSamplerの「ノイズ除去」(denoise)だけです。

    ノイズ除去は、元の絵をどれくらい描き直すかの数字です。
    元の絵を出したときは1.0でした。小さくするほど、元の絵が残ります。
    今回は0.3にしました。

    画像
    左下で絵を2倍に引き伸ばし、KSamplerでもう一度描く。

    使ったプロンプトです。

    hakuinoko, 1girl, solo, standing, full body, looking at viewer, simple background, white background

    ネガティブプロンプトです。

    lowres, bad anatomy, bad hands, extra fingers, worst quality, low quality, blurry, colorful, saturated

    5枚の顔のアップです。

    画像
    上がそのまま2倍、下が描き直した絵。

    線はなめらかになりました。
    ただ、5枚とも顔が元の絵から変わりました。
    目の中の青みが消えて灰色になり、口の形も変わっています。
    ほっぺの赤みも薄くなりました。

    時間は1枚12.5秒ほど、VRAMは最大で約6.5GBでした。
    3つの中でいちばん時間がかかりました。

    3つを並べる

    同じ1枚の、顔・手・靴のアップを並べました。

    画像
    左から、そのまま2倍、①モデル、②RTX、③描き直し。

    ①と②は、元の絵の線をそのままくっきりさせた絵です。
    この1枚では、見比べても違いはわずかでした。

    ③は、線が細くなめらかになりました。
    そのかわり、目や指の形が元の絵とは少し違っています。

    かかった時間とVRAMです。

    • やり方:

    • :そのまま2倍

    • :①アップスケール用のモデル

    • :②RTX Video Super Resolution

    • :③もう一度描き直す

    時間は、同じやり方で5枚続けたときの2枚目からの値です。

    ついでに試す

    Seedを戻して、条件を1つだけ変えます。
    ③で描き直した絵に、①のモデルで大きくした絵を混ぜてみました。
    Image Blend というノードで、①の絵を0.7の割合で重ねます。

    画像
    左から、①モデル、③描き直し、③に①を0.7で混ぜた絵。

    ①を7割にしたので、ほとんど①の絵になりました。
    目の青みも戻っています。
    この絵では、混ぜて良くなった所は見つけられませんでした。

    結果のまとめ

    4x-AnimeSharpとRTX Video Super Resolutionは、元の絵の形を変えずに線をくっきりさせてくれました。
    冒頭の顔のアップは、①のアップスケール用のモデルで大きくした絵です。

    もう一度描き直すやり方は、線がなめらかになりましたが、顔が変わりました。
    せっかくLoRAで出した子の顔が変わってしまうので、今回の絵には①か②のほうが合っていると思います。

    ①と②の仕上がりは、私にはほとんど見分けがつきませんでした。
    速さは②が上でした。

    今日わかったこと3つ

    • そのまま2倍に引き伸ばすだけでは、線はぼやけたままだとわかった

    • アップスケール用のモデルとRTX Video Super Resolutionは、元の絵の形を変えずに線をくっきりさせることがわかった

    • 大きくしてからもう一度描き直すと、線はなめらかになるが、顔も一緒に変わることがわかった

    次は、プロンプトの書き方をいろいろ変えて試してみたいと思います。

    おまけ:SeedVR2も試す

    もう1つ、SeedVR2というアップスケール方法で同じ5枚で試してみました。

    ComfyUI-SeedVR2_VideoUpscaler:https://github.com/numz/ComfyUI-SeedVR2_VideoUpscaler

    SeedVR2も、名前のとおり動画を大きくするためのものです。
    モデルのファイルは約3.4GBで、ほかに約0.5GBのVAEも使います。
    短い辺が1024になるように指定しました。

    画像
    左から、そのまま2倍、①モデル、SeedVR2。

    そのまま2倍よりは線がはっきりしましたが、①ほどくっきりはしませんでした。
    5枚を見ると、口の形や目の線など、細かい所が元の絵から少し変わっています。
    時間は1枚7.7秒ほど、VRAMは最大で約7.9GBでした。


    今回使ったワークフローです。①②③を1つずつ分けてあります。モデルとLoRAは含まれていません。

    【次の記事】


    【おすすめ記事】


     
     

    Pudu

     
     
    ローカルの画像生成を学び直しています。

    あなたへのおすすめ