アニメイラスト向け AI アップスケールモデル 6種を徹底比較! UltraSharpV2 と IllustrationJaNai_V3 の違い 【画像生成 AI】
はじめに
こんにちは、きまま / Easygoing です。
今回は、画像を簡単に高画質にできる、AI アップスケールモデル を比較してみたいと思います。

また、通常は pickle 形式 で公開されている AI アップスケールモデルを、より安全でパフォーマンスの向上が期待できる safetensors 形式 に変換して公開したので、併せてご紹介します。
AI アップスケールモデル はディティールを修正する
以前の記事で、画像を高解像度化するとき、計算式 を使ったピクセル補完と AI アップスケールモデル を使う方法の2つがあることをご紹介しました。
AI アップスケールモデルについて
AI アップスケールモデル は、計算式では破綻しがちな 輪郭 などを修正しながら高解像度化するため、完成度の高いアップスケールを行うことができます。
計算式を使った方法 と AI アップスケール の比較

強拡大

右の AI アップスケールモデル を利用したイラストは、左の Lanczos 法 と比べて 髪や目元のノイズが軽減 して輪郭がはっきりしています。
AI アップスケールモデル には多くの種類がありますが、今回はその中から アニメイラスト での使用に適した 6つのモデル を比較してみます。
比較の基準は Lanczos 法
今回の比較は、次の手順で行います。
基準画像
まずは、基準になる画像を Lanczos 法 で 2倍の解像度 に拡大して作成します。

AI アップスケール画像
次に、AI アップスケールモデル を利用して比較画像を生成します。

今回利用する AI アップスケールモデル はいずれも 4倍の固定の拡大率 のモデルなので、一度 4倍に拡大した後に Lanczos 法 で 0.5 倍に縮小 して、基準画像と同じ解像度にします。
比較する AI アップスケールモデル
今回比較するのは、次の 6つの AI アップスケールモデル です。


ESRGAN(2018 〜):高速、元のイラストを積極的に改変する
DAT2(2023 〜):元のイラストに忠実だが、処理が重い
AI アップスケールモデル の中で最も普及しているのが ESRGAN 形式 で、これは 元のイラストを積極的に改変 して画質の向上を狙っていくモデルです。
それに対して、2023年 に登場した DAT2 形式 は オリジナルに忠実 にアップスケールを行いますが、ESRGAN 形式と比べると処理に時間がかかります。
実際の比較
それでは、実際のイラストを比べてみましょう。
比較画像は、左側が AI アップスケールモデル で生成されたイラスト、右側が基準画像と比べたときの カラーの差分マップ で、分かりやすいように 違いを4倍に強調 して掲載しています。
1.高画質のアニメイラスト
まずは、高画質のアニメイラストをアップスケールしてみます。
基準画像

YandereNeoXL_ESRGAN

RealESRGAN_plus_Anime_6B

UltraSharp_ESRGAN

UltraSharpV2_DAT2

IllustrationJaNai_V1_ESRGAN

IllustrationJaNai_V3_denoise_DAT2

測定結果

まず、AI アップスケールモデル 全体の特徴として、計算法と比較すると全体的な 明るさを落として黒を強調する ことが分かります。
次に、差分マップと表の中の MAE_similarity と SSIM_similarity(基準画像との類似度)を確認すると、DAT2 系 のモデルは ESRGAN 系 と比べて 基準画像からの改変が少ない ことが分かります。

ESRGAN 系 のモデルでは、YandereNeoXL_ESRGAN は比較的オリジナルに近い 保守的 なモデルであるのに対して、RealESRGAN_plus_Anime_6B は輪郭を中心に 局所を強く描き直して います。
そして、IllustrationJaNai シリーズは輪郭以外にも イラスト全体のノイズや色を調整 する特徴的なモデルであり、UltraSharp シリーズは今回比較した中では バランスの良い中間 に位置しています。
2.SDXL のポン出しのイラスト
続いて、AI アップスケールモデル を一番使う機会が多い SDXL のポン出し のイラストで比較します。
基準画像

YandereNeoXL_ESRGAN

RealESRGAN_plus_Anime_6B

UltraSharp_ESRGAN

UltraSharpV2_DAT2

IllustrationJaNai_V1_ESRGAN

IllustrationJaNai_V3_denoise_DAT2

測定結果

今度のイラストでは、モデルごとに 修正する部分がはっきりと違って います。
RealESRGAN_plus_Anime_6B と UltraSharp_ESRGAN モデルは、滝の線 などの エッジの部分に強く反応しています。
一方で、UltraSharpV2_DAT2 や IllustrationJaNai シリーズは滝の線には反応せず、イラスト全体の修正やノイズの除去 に重点を置いています。
AI アップスケールモデル は、学習した環境によって反応する対象が違うので、最適なモデルはイラスト毎に違う ことが分かります。
3.実写系のイラスト
最後に、実写系のイラストを比べてみます。
基準画像

YandereNeoXL_ESRGAN

RealESRGAN_plus_Anime_6B

UltraSharp_ESRGAN

UltraSharpV2_DAT2

IllustrationJaNai_V1_ESRGAN

IllustrationJaNai_V3_denoise_DAT2

測定結果

今回利用したモデルはいずれも アニメイラスト向け のモデルなので、特に YandereNeoXL_ESRGAN と IllustrationJaNai シリーズ は実写系のイラストをほとんど修正することができませんでした。
RealESRGAN_plus_Anime_6B と UltraSharp シリーズ は、ある程度実写系のイラストを修正できていますが、それでもアニメイラストの的確な修正とは違っています。
実写系のイラストを修正する場合は、やはり 実写系が得意な AI アップスケールモデル を使用するほうが良いと思います。
総合評価
それでは、総合評価を行います。
アップスケールの所要時間
まず、アップスケールの所要時間を見ると、新しい DAT2 系のモデル は 従来の ESRGAN 系のモデルの 2倍以上 の処理時間がかかっています。

また、ESRGAN 系のモデルのうち RealESRGAN_plus_Anime_6B モデルは他の ESRGAN モデルと比べても特別処理が速く、これは 6B の名称の通り ESRGAN モデルの中でも 6層(通常の ESRGAN モデルは 23層)の小型のモデルであるためです。
各モデルの特徴
続いて、今回の測定データとすべての差分マップを Claude に分析してもらい、モデル毎の特徴をまとめたインフォグラフィックを作成してみます。

Claude の分析によると、RealESRGAN_plus_Anime_6B モデル は 局所で大胆な修正 を行うのに対して、YandereNeoXL_ESRGAN モデル は オリジナルに忠実 な修正を行っています。
また、IllustrationJaNai シリーズ は局所だけではなく イラスト全体の品質 を上げる修正 を行うのに対して、UltraSharp シリーズ は全体的にバランスの調和したアップスケールを行います。
今回の結果から、イラスト全体のクオリティ を上げたい場合は IllustrationJaNai シリーズ、バランス を重視する場合は UltraSharp シリーズ、局所の修正 を重視する場合は RealESRGAN_plus_Anime_6B モデルが良い選択になるのではないかと思います。
UltraSharp と IllustrationJaNai は、商用利用不可 のライセンス!
AI アップスケールモデルを選ぶとき、ライセンスの確認も重要です。
今回比較したモデルのうち UltraSharp シリーズ と IllustrationJaNai シリーズ は、商用利用が不可 な CC-BY-NC-SA-4.0 ライセンス が設定されています。

画像生成 AI モデル のライセンスについて
UltraSharp シリーズ と IllustrationJaNai シリーズ は商用利用ができないため、商用イラストを生成する場合は別のモデルを利用するようにしましょう。
結局何がオススメ?
筆者のオススメは次の通りです。
アップスケールでクオリティを上げる → IllustrationJaNai_V3_denoise_DAT2
バランス重視 → UltraSharp シリーズ
高速に商用イラストを生成 → RealESRGAN_plus_Anime_6B
モデルは safetensors 形式を利用しよう!
ComfyUI の Load Upscale Model ノードは、pickle 形式 と safetensors 形式 の両方の形式のモデルを読み込むことができます。

pickle 形式(.pt, .pth):実行可能なコード
safetensors 形式(.safetensors):モデルの重み、効率的なロード
pickle 形式 は実行可能なコードで配布されているため、マルウェアなどの 悪意のあるコード が紛れ込むリスクを完全に否定することはきません。
それに対して、safetensors 形式は モデルの重み だけ抜き出した形式なので、pickle 形式と比べると安全性が高くなっています。
AI アップスケールモデル は小型のモデルのため、 pickle 形式 と safetensors 形式 でロード時間の違いはほとんどありませんが、セキュリティの視点からこれからなるべく safetensors 形式を利用する のが良いでしょう。
pickle → safetensors 形式に変換したリポジトリ
なお、古い pickle 形式のモデルをまとめて safetensors 形式に変換したリポジトリを公開したので、良ければみなさんも利用してみて下さい。
まとめ:AI アップスケールモデル を利用しよう
AI アップスケールモデル は輪郭を修正
ESRGAN は大胆な修正、DAT2 はオリジナルに忠実
safetensors 形式のモデルを利用する
今回は、AI アップスケールモデルを比較してみました。
AI アップスケールモデル は手軽に画像をアップスケールできる便利なツールですが、その修正の方法に モデル製作者の哲学 が込められていて、いろいろなモデルを試しながら製作者の考えに触れるのはとても面白いです。

前記の Hugging Face のリポジトリでは、今回ご紹介した 6つのモデル以外にも 多数のモデル を公開していて、最新の IllustrationJaNai_V3 シリーズ では ディティール を上げる detail シリーズ や、より軽量な FDAT 形式 など 多彩なバリアントも公開されています。
AI アップスケールモデル は、自分のイラストに合うモデルを試行錯誤しながら見つけるのが面白いので、皆さんもいろいろ試してみて下さい。
最後までお読みいただきありがとうございます!
