
動画アップスケーラー「RelayVSR」を実測|720p→1440pをVRAM 8GBで試した
静止画のアップスケーラーは一通り測った。次は動画です。
ComfyUI公式が配布する動画専用アップスケーラー「RelayVSR」を、RTX 3070(VRAM 8GB)の実機で動かしました。720pの生成動画を1440pに引き上げる本命の使い方と、解像度を落として戻す復元テストの両方で、何が起きるかを記録します。
結論を先に書くと、生成動画の底上げにははっきり効果がありました。一方で「原画にどれだけ近いか」を競うと単純拡大に負ける場面もあり、万能ではありません。向き不向きが分かれるモデルです。
RelayVSRとは
RelayVSRは、動画を超解像で拡大するモデルです。原モデルはkopper氏のRelayVSRで、Comfy-OrgがComfyUIで使える形にリパッケージしてHugging Faceで配布しています。先月のダウンロード数は16万回を超えていて、動画アップスケーラーの中では目立って使われている部類です。
系統は2つあります。
x2版(lightx2v系):2倍拡大。本体 5.16GB+専用VAE 0.13GB
x4版:4倍拡大。本体 5.16GB+専用VAE 0.13GB
今回はx2版だけを実測しました。x4版は未検証です。
配置は通常のComfyUIの作法どおりで、本体を models/diffusion_models、VAEを models/vae に置きます。ワークフローは公式テンプレート「Video Upscale: RelayVSR 2x」が用意されていて、拡大率はちょうど2倍固定、フレームレートと音声はそのまま通過します。ノードはRelayVSRConditioningとVSRDecodeという専用のものがComfyUI本体に入っています。
導入で気をつけるのは1点だけです。VAEはx2用とx4用で別ファイルになっているので、本体とVAEのペアを取り違えないこと。テンプレート側はx2のペアで組まれているため、ファイルを置いてテンプレートを開けば、そのまま動く構成でした。
実測条件
GPU:RTX 3070(VRAM 8GB)
ComfyUI:v0.45.0(ポータブル版)
設定:公式テンプレート準拠(steps 1/cfg 1/euler/simple/seed 42、VSRDecodeのdetail 1)
素材:AI生成アニメ動画「時計の世界」(1280×720、24fps)。当編集部のマスコット、時乃の動画です
実測は3テスト+追加比較です。
復元テスト:720pを360p(640×360)に落とし、x2で720pへ戻して原画と比較
底上げ・5秒:720pそのままをx2で1440p(2560×1440)へ
底上げ・10秒:720pのフル尺10秒(240フレーム)を1440pへ。VRAM 8GBで通るかの確認
追加比較:前回の静止画アップスケーラー実測で測った4モデルと、同一素材・同一フレームで比較
所要時間とVRAMは実測データ表にまとめてあります。

テスト1:復元テストでは「単純拡大にPSNRで負ける」
まず復元テストです。720pの原画をffmpegで360pに縮小し(5秒・120フレーム)、それをx2で720pに戻して、原画との近さをPSNRで測りました。PSNRは全120フレームの平均です。比較画像は2.5秒地点のフレームから、顔まわりを切り抜いたものです。
RelayVSR:29.16dB
Lanczos(単純拡大):32.76dB
数値では単純拡大の勝ちです。ただし、これは画像アップスケーラーの実測でも見た構図で、PSNRは「元のピクセルに近いか」の指標です。生成系のアップスケーラーは細部を復元するのではなく、それらしく描き直すため、見た目のシャープさと引き換えにピクセル単位の一致は下がります。
実際、拡大で比べるとRelayVSRのほうが歯車の輪郭や髪の線は立っています。その代わり、時計ハットの文字盤の目盛りのような細部は、原画と違う絵に描き替えられていました。拡大画像の中央、文字盤の中の小さな黒い点がその実例です。
つまり復元テストの評価は2つに分かれます。原画への忠実さが要る用途では単純拡大(または無拡大)が安全で、見た目の精細感を上げたい用途ではRelayVSRに分があります。

テスト2:720p→1440pの底上げが本命
本命はこちらの使い方です。720pの原画をそのまま1440pへ引き上げました。
同寸で並べると差は明確です。単純拡大ではぼやける歯車のネジの溝、時計の文字盤の針と目盛り、髪のツヤ線まで、RelayVSR側は輪郭が立っています。色もわずかに締まって見えます。生成動画は元々「それらしい細部」を持っているので、描き直しの性質が欠点ではなく長所として働く相性の良さでした。
もちろん完全な一致ではなく、文字盤の目盛りなど細部はここでもわずかに描き替えられています。ただ、底上げの目的は「大きく表示しても破綻して見えないこと」なので、この用途では実用の範囲に入ると判断しました。

テスト3:10秒フル尺もVRAM 8GBで通った
最後に、実務で一番気になる尺の問題です。1440p化はVRAMを大きく使う処理で、5秒版のピークは7.36GBと、8GBの上限にかなり近い値でした。
10秒フル尺(240フレーム)を通した結果、ピークVRAMは7.32GBで、5秒版とほぼ同じでした。メモリ使用量は動画の長さではなく解像度で決まる作り(チャンク処理)のようです。出力は240フレーム全部がそろい、音声もそのまま付いていて、最終フレーム(9.5秒地点)でもローマ数字や文字盤の輪郭が立っていました。比較画像の右側がその同地点のフレームです。
少なくとも「720p入力→1440p出力・10秒級」は、RTX 3070 8GBで実用にできる、というのが今回の実測の結論です。なお公式テンプレートにも「OOMする場合は入力を切り分けて複数回に分ける」という案内があり、1440p入力から先(4K級への拡大)は今回未検証です。

前回のアップスケーラーとも比べてみた
前回の静止画アップスケーラー実測で測った4モデル(SeedVR2/RealESRGAN_x4plus/4x-UltraSharp/RealESRGAN_x4plus_anime_6B)とも比べました。静止画モデルはフレーム単位の処理になるため、テスト1と同一の360p素材から2.5秒地点の1フレームを取り、全手法を同じ条件で720p化しています。静止画モデルは4倍出力の後に720pへ縮小しました。
PSNR(原画との近さ)は、Lanczos 29.29dB/RealESRGAN 27.66dB/UltraSharp 27.09dB/anime_6B 26.59dB/RelayVSR 25.35dB/SeedVR2 23.48dBの順でした。「補間→GAN→生成系」の順そのもので、生成系ほどピクセル単位の一致からは離れます。このフレームは細部が多いため、全手法とも動画全体の平均(データ表)より低めに出ています。
SeedVR2は動画一括でも通しました。動画全体の平均PSNRは26.27dBで、RelayVSRの29.16dBと並びは変わりません。生成系同士でも、原画への近さではRelayVSRに分がありました。
見た目では印象が変わります。GAN勢は輪郭を立てながら原画の絵を保つのが上手く、とくにRealESRGANはバランスが良い仕上がりでした。一方、SeedVR2はこの素材では顔まわりの描き直しが最も大きく、目の形や髪のツヤまで作り替えていました。前回の静止画実測で「最も原画に忠実」と評価したSeedVR2ですが、素材と条件が変わると評価も変わります。忠実さはモデルの固定の性質ではなく、素材との相性で決まる、というのが2回の実測を通しての感触です。


注意点が2つあります。静止画モデルはフレームごとに独立に処理するので、動画としてつないだときのフレーム間のチラつきは、この比較では評価していません(1フレームの画質だけの比較です)。また、今回の追加比較の測定中はGPUを他の生成作業と共有していたため、各モデルの所要時間は単独実行時の値になっていません。時間の比較は、単独で測ったデータ表のほうを正とします。
まとめ
生成動画の底上げ(720p→1440p)には明確な効果があり、単純拡大より精細に見える
復元用途では原画への忠実さで単純拡大に劣る。細部は描き替えられる、が前提
フレーム単位の近さでは静止画GAN勢(RealESRGAN等)がRelayVSRを上回る。ただし動画として通しで処理できるのは生成系だけ
VRAMは解像度で決まり、720p→1440pなら10秒フル尺でも8GBに収まった(ピーク7.32GB)
未検証:x4版、実写素材、1440p入力からの拡大
静止画のSeedVR2が「最も原画に忠実な生成系」だったのに対し、RelayVSRは「見た目の精細感を取りに行く生成系」という性格でした。生成した動画を大きく見せたい場面では、現状いちばん実用的な選択肢だと思います。
関連記事
ComfyUIアップスケーラー実測|ランキング上位5モデルをVRAM 8GBで同じ画像で比べてみた
MiniMax公式の書き方でプロンプトを書くと何が変わるか|H3-Image公式スキルをP-H3で5本実測