【SeedVR2】ローカルAIの動画高画質化の工夫とか効果確認等の話②【ver.2.5】

はじめに

ローカルで拡散法を利用した高画質化・アップスケールが可能になるSeedVR2のレビューの②です。

※ 前回の記事のつづきです。

SeedVR2 2.5

前回の記事は、ちょうどバージョン2.5になる過渡期だったようで、すぐにノードが利用不可になってしまいました。

本体は「SeedVR2 Video Upscaler」で、主に次を設定します

• ✅ resolution： 高画質化後の解像度（縦横の短い方）

  • 16:9の場合、1080を入力すれば1920x1080になる

  • ただし、内部では適切なサイズに変更（1072等）される

• ✅ batch_size： 一度に処理するフレーム数

  • 一貫性・画質に影響、パフォーマンスはあまり変わらない

  • 増やすと利用VRAMは爆増

• ✅ temporal_overlap：

  • SeedVR2処理バッチごとの一貫性を保持しやすくなる

  • もちろん増やすと無駄なフレーム演算も増える

• ✅ prepend_frames：

  • 最初にフレームを余分に挿入する事で、最初の画像の崩壊やアーティファクトを防ぐ

  • 挿入したフレームは切り取られるため、最終的なフレーム数に変更はない

利用する拡散法モデル（DiT）指定：「SeedVR2(Down)Load DiT Model」

• ✅ block_to_swap

  • 数が大きいほど、ブロックをCPUメモリ等スワップ先へ移動するようになりVRAMを節約できる。7Bモデルの場合は、最大で36

  • ただしGPUのAI利用では、スワップするかしないかが最も重要なので、微妙な数の調整は基本的にパフォーマンスにあまり影響しない（それでも最適な値に調整すると、5％程度の速度向上がありましたが）

• ✅ swap_io_components

  • 上記以外のデータもスワップするかどうか

• ✅ attention_mode

  • flash_attnかsdpaを選択できます。（VRAM 16GB/12GBの）筆者環境ではCPUメモリへのオフロードが必須で大きなボトルネックになっているため、attention_modeをどれに変更しても差がありませんでした。

VAE指定： 「SeedVR2(Down)Load VAE Model」

エンコーダ側、とデコーダー側で分かれています。一般的なtiled vaeなので、タイルサイズとオーバーラップサイズを指定します。

ただし、エンコーダ時（オリジナルサイズ）よりも、デコーダ時（アップスケール後）の方が大きなメモリを要求する事に注意が必要です。

高画質化テスト

※ 前回と比べて（同じモデル・条件でも）画質が変化しています。AI効果が強く出るようになった気がします。

静止画のAIアップスケーラもそうですが、拡散法を利用したAIアップスケーラは、そのモデルが生成できる（想定した）以上の画質は出せません。

たとえば、既に高精細な2K動画を4Kにしても劣化するだけです。

また、AI生成動画も、動画のスタイルによっては、のっぺり感を強調させてしまうので、用途としては苦手分野かもしれません。

一方で、劣化した低解像度720x480（DVD解像度）やHD/FullHDの写実的・映画的な「リアル動画」であれば、かなり綺麗に修復してくれます。

AIでない640x480解像度の動画に対して、SeedVR2を試します。

確かにシャープさは増していますが、人工・AI感も強く出てしまっています。静止画では分かりづらいですが、動画だとかなりAIっぽくなっています。

そこで、強度を調整できるように、アップスケール後にオリジナルをブレンドします。例の画像の場合は、元々高精細な動画なので、40％程度混ぜます。

また、劣化した動画の場合は、（高速な）ノイズ除去やアップスケールモデルを挟むと、より良い結果になります。

※ 前回の記事では、SeedVR2の前に挟みましたが、今回は、SeedVR2の効果が強いので、後に適用します。

シャープさを失いたくない場合は、静止画用のアップスケールモデルを混ぜても変化を得られます。

まとめ

既に「綺麗」な動画をより「綺麗」にするには工夫が必要ですが、解像度の低い、劣化した動画の高画質化用途であれば、SeedVR2（2.5）は、クラウド商用レベルに匹敵する性能だと思います。

ComfyUIでの動画処理は、基本的に短いショート動画用ですが、バッチ登録時に処理フレームを分ければ、原理的には長い動画も可能です。ただし激遅です。

付録

支援者様（メンバーシップ）向けに、本記事で利用したワークフローを添付します。参考程度にご利用ください。