メインコンテンツへスキップ
見出し画像

【超解像】ローカルAIを利用した高画質化技術に刮目する話【アップスケール】

    はじめに

    今の画像高画質化AI技術は凄まじいものになっています。

    特に、ローカルAIでしかできない事の一つが、この画像の高画質化だと思います。クラウドは何かと制約が多すぎますから。

    以前の記事でも度々言及していますが、AIでの高画質化・修復やアップスケールは、大雑把に分けると二種類あります。

    • ✅ アイデンティティを保存しない手法

    • ✅ アイデンティティを保存する手法

    今回は後者の「保存しない」手法でアップスケールします。基本的に(別画像を単に生成する事と同じなので)保存しない方が圧倒的に簡単で、かつ高画質になります。

    解像度の悪い素材を高画質化する

    単純拡大してimg2img

    アイデンティティを保存しなくても問題ない用途、つまり素材として画像を使いたい場合であれば、解像度の悪い画像を、img2img手法で良い画像に変換できます。

    テストとして、pexelフリー素材を180x270まで縮小した画像を高解像度化します。

    画像
    180x270解像度
    画像
    もう、人物としてのアイデンティティ判別が難しいレベルです

    画像生成AIを利用した高画質化・アップスケールの基本は、hires-fix手法と同様です。

    「何らかの手法で単純拡大」→「VLMでプロンプト作成」→「プロンプト+img2imgでAI生成」

    一般的な高画質化
    画像
    Gemma4を利用してプロンプトを作ります(ollama + OpenWebUI)

    多くの場合、この手法だけで上手くいきますが、ダメな場合もあります。

    画像
    綺麗にはなっていますが、ボケたままです(Z-Image-Turboでimg2img)

    ※ ボケを避ける方法として、latentで単純拡大する手法や、latentアップスケールする手法もあります

    画像
    NVIDIAのPiD(Latent Decoding with Pixel Diffusion)モデル
    画像
    PiDは任意の画像にも適用できますが、クセがあるのでコントロールが難しいです

    SeedVR2を利用する

    筆者が知る(試した)限り、最も品質が高まる手法を用います。具体的には、(写実的なものであれば)最も汎用性の高いアップスケール専用AI「SeedVR2」を利用します。

    特に下記の「究極の手法」はおすすめです。遅いですが汎用性は高いです。

    特定の方向だけだとアーティファクトだらけになりますが、

    画像
    横

    すべてを合成した後は落ち着きます。

    画像
    合成後

    それでも、SeedVR2はアップスケール専用AIであるため、ゼロから何かを生成する用途には向きません。情報が完全に消失している場合は、あまり綺麗に復元できません。

    この画像を元に、さらにimg2imgします。

    AIアーティファクト(ノイズ)を付加してからimg2img

    しかし、このノイズやゴミこそがimg2imgで重要になります。

    画像
    30%denoising(Z-Image-Turbo)

    先程と同様に、Z-Image-Turboでimg2imgすると、ボケずに鮮明になります。ただし、多くのアイデンティティは消失しています。湖も消えています。

    最終工程としての仕上げ

    リアル写真スタイルであれば、SeedVR2が飛び抜けて綺麗になり、AI感も低減できます。

    仕上げとして、もう一度「究極の手法」を利用します。ただし、下記事の最後の工夫を利用しています。

    画像
    完成
    画像
    左:元画像 右:完成

    まとめ

    画像としては別アイデンティティになってしまっていますが、この手法を利用すすと、解像感だけは、どんなに小さな画像でも4Kレベルまで上がります。

    以下、関連する記事の【PR】です


     
     
    3Dアート作品や3Dモデルデータも扱っています。最近は専らAIを利用した作品が多いです。 ※ BOOTHにて各種販売も行なっております。 https://lit.link/catappart3d

    あなたへのおすすめ