見出し画像

アニメイラスト向け AI アップスケールモデル 6種を徹底比較! UltraSharpV2 と IllustrationJaNai_V3 の違い 【画像生成 AI】

はじめに

こんにちは、きまま / Easygoing です。

今回は、画像を簡単に高画質にできる、AI アップスケールモデル を比較してみたいと思います。

紫色の髪の少女が滝を背景に微笑むアニメイラスト
今日は AI アップスケールモデルについて

また、通常は pickle 形式 で公開されている AI アップスケールモデルを、より安全でパフォーマンスの向上が期待できる safetensors 形式 に変換して公開したので、併せてご紹介します。

AI アップスケールモデル はディティールを修正する

以前の記事で、画像を高解像度化するとき、計算式 を使ったピクセル補完と AI アップスケールモデル を使う方法の2つがあることをご紹介しました。

AI アップスケールモデルについて

AI アップスケールモデル は、計算式では破綻しがちな 輪郭 などを修正しながら高解像度化するため、完成度の高いアップスケールを行うことができます。

計算式を使った方法 と AI アップスケール の比較

Lanczos法とRealESRGAN_Anime_6Bの比較。左がLanczos、右がAIアップスケールした紫髪の少女
Lanczos  |  RealESRGAN_plus_Anime_6B

強拡大

強拡大比較。左のLanczosは目元がぼやけ、右のAIアップスケールは輪郭がはっきりしている

右の AI アップスケールモデル を利用したイラストは、左の Lanczos 法 と比べて 髪や目元のノイズが軽減 して輪郭がはっきりしています。

AI アップスケールモデル には多くの種類がありますが、今回はその中から アニメイラスト での使用に適した 6つのモデル を比較してみます。

比較の基準は Lanczos 法

今回の比較は、次の手順で行います。

基準画像

まずは、基準になる画像を Lanczos 法2倍の解像度 に拡大して作成します。

基準画像作成フロー図。元画像1024x1024をLanczos x2で2048x2048に拡大

AI アップスケール画像

次に、AI アップスケールモデル を利用して比較画像を生成します。

AIアップスケール画像作成フロー図。元画像をAI x4で拡大後、Lanczos x0.5で2048x2048に縮小

今回利用する AI アップスケールモデル はいずれも 4倍の固定の拡大率 のモデルなので、一度 4倍に拡大した後に Lanczos 法 で 0.5 倍に縮小 して、基準画像と同じ解像度にします。

比較する AI アップスケールモデル

今回比較するのは、次の 6つの AI アップスケールモデル です。

AIアップスケールモデルの時系列図。YandereNeoXLからIllustrationJaNai_V3までの登場時期
比較対象6モデルの一覧表。モデル名・公開月・方式・ライセンス
  • ESRGAN(2018 〜):高速、元のイラストを積極的に改変する

  • DAT2(2023 〜):元のイラストに忠実だが、処理が重い

AI アップスケールモデル の中で最も普及しているのが ESRGAN 形式 で、これは 元のイラストを積極的に改変 して画質の向上を狙っていくモデルです。

それに対して、2023年 に登場した DAT2 形式 は オリジナルに忠実 にアップスケールを行いますが、ESRGAN 形式と比べると処理に時間がかかります。

実際の比較

それでは、実際のイラストを比べてみましょう。

比較画像は、左側が AI アップスケールモデル で生成されたイラスト、右側が基準画像と比べたときの カラーの差分マップ で、分かりやすいように 違いを4倍に強調 して掲載しています。

1.高画質のアニメイラスト

まずは、高画質のアニメイラストをアップスケールしてみます。

基準画像

高画質アニメイラストの基準画像1。和室に立つ紫髪の着物少女
mellow_pencil-XL_clear_v2 → Krea-2-Turbo_clear

YandereNeoXL_ESRGAN

画像1のYandereNeoXL_ESRGANのアップスケール結果とカラー差分マップ(4倍強調)
AI アップスケール 画像  |  カラーの差分マップ(4倍強調)

RealESRGAN_plus_Anime_6B

画像1のRealESRGAN_plus_Anime_6Bのアップスケール結果とカラー差分マップ(4倍強調)

UltraSharp_ESRGAN

画像1のUltraSharp_ESRGANのアップスケール結果とカラー差分マップ(4倍強調)

UltraSharpV2_DAT2

画像1のUltraSharpV2_DAT2のアップスケール結果とカラー差分マップ(4倍強調)

IllustrationJaNai_V1_ESRGAN

画像1のIllustrationJaNai_V1_ESRGANのアップスケール結果とカラー差分マップ(4倍強調)

IllustrationJaNai_V3_denoise_DAT2

画像1のIllustrationJaNai_V3_denoise_DAT2のアップスケール結果とカラー差分マップ(4倍強調)

測定結果

高画質アニメイラスト比較の定量データ表。処理時間・MAE/SSIM類似度・色変化

まず、AI アップスケールモデル 全体の特徴として、計算法と比較すると全体的な 明るさを落として黒を強調する ことが分かります。

次に、差分マップと表の中の MAE_similarity と SSIM_similarity(基準画像との類似度)を確認すると、DAT2 系 のモデルは ESRGAN 系 と比べて 基準画像からの改変が少ない ことが分かります。

紫色の長髪の少女が滝を背景に微笑むアニメイラスト
ESRGAN 系のモデルは、局所を強く塗りつぶす

ESRGAN 系 のモデルでは、YandereNeoXL_ESRGAN は比較的オリジナルに近い 保守的 なモデルであるのに対して、RealESRGAN_plus_Anime_6B は輪郭を中心に 局所を強く描き直して います。

そして、IllustrationJaNai シリーズは輪郭以外にも イラスト全体のノイズや色を調整 する特徴的なモデルであり、UltraSharp シリーズは今回比較した中では バランスの良い中間 に位置しています。

2.SDXL のポン出しのイラスト

続いて、AI アップスケールモデル を一番使う機会が多い SDXL のポン出し のイラストで比較します。

基準画像

SDXLポン出しイラストの基準画像2。滝を背景にした紫髪の少女
mellow_pencil-XL_clear_v2

YandereNeoXL_ESRGAN

画像2のYandereNeoXL_ESRGANのアップスケール結果とカラー差分マップ(4倍強調)

RealESRGAN_plus_Anime_6B

画像2のRealESRGAN_plus_Anime_6Bのアップスケール結果とカラー差分マップ(4倍強調)

UltraSharp_ESRGAN

画像2のUltraSharp_ESRGANのアップスケール結果とカラー差分マップ(4倍強調)

UltraSharpV2_DAT2

画像2のUltraSharpV2_DAT2のアップスケール結果とカラー差分マップ(4倍強調)

IllustrationJaNai_V1_ESRGAN

画像2のIllustrationJaNai_V1_ESRGANのアップスケール結果とカラー差分マップ(4倍強調)

IllustrationJaNai_V3_denoise_DAT2

画像2のIllustrationJaNai_V3_denoise_DAT2のアップスケール結果とカラー差分マップ(4倍強調)

測定結果

画像2のSDXLポン出し比較の定量データ表

今度のイラストでは、モデルごとに 修正する部分がはっきりと違って います。

RealESRGAN_plus_Anime_6B と UltraSharp_ESRGAN モデルは、滝の線 などの エッジの部分に強く反応しています。

一方で、UltraSharpV2_DAT2 や IllustrationJaNai シリーズは滝の線には反応せず、イラスト全体の修正やノイズの除去 に重点を置いています。

AI アップスケールモデル は、学習した環境によって反応する対象が違うので、最適なモデルはイラスト毎に違う ことが分かります。

3.実写系のイラスト

最後に、実写系のイラストを比べてみます。

基準画像

基準画像3、実写系イラストの基準画像。水槽の前で微笑む女性
Krea-2-Turbo

YandereNeoXL_ESRGAN

画像3のYandereNeoXL_ESRGANのアップスケール結果とカラー差分マップ(4倍強調)

RealESRGAN_plus_Anime_6B

画像3のRealESRGAN_plus_Anime_6Bのアップスケール結果とカラー差分マップ(4倍強調)

UltraSharp_ESRGAN

画像3のUltraSharp_ESRGANのアップスケール結果とカラー差分マップ(4倍強調)

UltraSharpV2_DAT2

画像3のUltraSharpV2_DAT2のアップスケール結果とカラー差分マップ(4倍強調)

IllustrationJaNai_V1_ESRGAN

画像3のIllustrationJaNai_V1_ESRGANのアップスケール結果とカラー差分マップ(4倍強調)

IllustrationJaNai_V3_denoise_DAT2

画像3のIllustrationJaNai_V3_denoise_DAT2のアップスケール結果とカラー差分マップ(4倍強調)

測定結果

画像3の実写系比較の定量データ表

今回利用したモデルはいずれも アニメイラスト向け のモデルなので、特に YandereNeoXL_ESRGAN と IllustrationJaNai シリーズ は実写系のイラストをほとんど修正することができませんでした。

RealESRGAN_plus_Anime_6B と UltraSharp シリーズ は、ある程度実写系のイラストを修正できていますが、それでもアニメイラストの的確な修正とは違っています。

実写系のイラストを修正する場合は、やはり 実写系が得意な AI アップスケールモデル を使用するほうが良いと思います。

総合評価

それでは、総合評価を行います。

アップスケールの所要時間

まず、アップスケールの所要時間を見ると、新しい DAT2 系のモデル は 従来の ESRGAN 系のモデルの 2倍以上 の処理時間がかかっています。

各モデルの処理時間棒グラフ。DAT2系がESRGAN系の約2倍以上かかる

また、ESRGAN 系のモデルのうち RealESRGAN_plus_Anime_6B モデルは他の ESRGAN モデルと比べても特別処理が速く、これは 6B の名称の通り ESRGAN モデルの中でも 6層(通常の ESRGAN モデルは 23層)の小型のモデルであるためです。

各モデルの特徴

続いて、今回の測定データとすべての差分マップを Claude に分析してもらい、モデル毎の特徴をまとめたインフォグラフィックを作成してみます。

モデル特徴の散布図。忠実度と局所/全体修正のバランスを視覚化

Claude の分析によると、RealESRGAN_plus_Anime_6B モデル は 局所で大胆な修正 を行うのに対して、YandereNeoXL_ESRGAN モデル は オリジナルに忠実 な修正を行っています。

また、IllustrationJaNai シリーズ は局所だけではなく イラスト全体の品質 を上げる修正 を行うのに対して、UltraSharp シリーズ は全体的にバランスの調和したアップスケールを行います。

今回の結果から、イラスト全体のクオリティ を上げたい場合は IllustrationJaNai シリーズ、バランス を重視する場合は UltraSharp シリーズ、局所の修正 を重視する場合は RealESRGAN_plus_Anime_6B モデルが良い選択になるのではないかと思います。

UltraSharp と IllustrationJaNai は、商用利用不可 のライセンス!

AI アップスケールモデルを選ぶとき、ライセンスの確認も重要です。

今回比較したモデルのうち UltraSharp シリーズ と IllustrationJaNai シリーズ は、商用利用が不可 CC-BY-NC-SA-4.0 ライセンス が設定されています。

比較対象6モデルの一覧表の再掲。モデル名・公開月・方式・ライセンス

画像生成 AI モデル のライセンスについて

UltraSharp シリーズ と IllustrationJaNai シリーズ は商用利用ができないため、商用イラストを生成する場合は別のモデルを利用するようにしましょう。

結局何がオススメ?

筆者のオススメは次の通りです。

  • アップスケールでクオリティを上げる → IllustrationJaNai_V3_denoise_DAT2

  • バランス重視 → UltraSharp シリーズ

  • 高速に商用イラストを生成 → RealESRGAN_plus_Anime_6B

モデルは safetensors 形式を利用しよう!

ComfyUI の Load Upscale Model ノードは、pickle 形式safetensors 形式 の両方の形式のモデルを読み込むことができます。

ComfyUIのLoad Upscale Modelノード。pth形式とsafetensors形式の両方を読み込める例
pth と safetensors の 両方の形式を読み込める
  • pickle 形式(.pt, .pth):実行可能なコード

  • safetensors 形式(.safetensors):モデルの重み、効率的なロード

pickle 形式 は実行可能なコードで配布されているため、マルウェアなどの 悪意のあるコード が紛れ込むリスクを完全に否定することはきません。

それに対して、safetensors 形式は モデルの重み だけ抜き出した形式なので、pickle 形式と比べると安全性が高くなっています。

AI アップスケールモデル は小型のモデルのため、 pickle 形式 と safetensors 形式 でロード時間の違いはほとんどありませんが、セキュリティの視点からこれからなるべく safetensors 形式を利用する のが良いでしょう。

pickle → safetensors 形式に変換したリポジトリ

なお、古い pickle 形式のモデルをまとめて safetensors 形式に変換したリポジトリを公開したので、良ければみなさんも利用してみて下さい。

まとめ:AI アップスケールモデル を利用しよう

  • AI アップスケールモデル は輪郭を修正

  • ESRGAN は大胆な修正、DAT2 はオリジナルに忠実

  • safetensors 形式のモデルを利用する

今回は、AI アップスケールモデルを比較してみました。

AI アップスケールモデル は手軽に画像をアップスケールできる便利なツールですが、その修正の方法に モデル製作者の哲学 が込められていて、いろいろなモデルを試しながら製作者の考えに触れるのはとても面白いです。

紫色の長髪のアニメ少女が滝をバックに水滴の中で微笑むアニメイラスト
モデルごとに個性がある

前記の Hugging Face のリポジトリでは、今回ご紹介した 6つのモデル以外にも 多数のモデル を公開していて、最新の IllustrationJaNai_V3 シリーズ では ディティール を上げる detail シリーズ や、より軽量な FDAT 形式 など 多彩なバリアントも公開されています。

AI アップスケールモデル は、自分のイラストに合うモデルを試行錯誤しながら見つけるのが面白いので、皆さんもいろいろ試してみて下さい。

最後までお読みいただきありがとうございます!


English Article


いいなと思ったら応援しよう!