メインコンテンツへスキップ
見出し画像

AI 動画を 4K に|同じ顔を 288p から 4K まで並べて比べる

    ざっくり言うと

    • 手元の PC では、動画はまず小さく作ります。そのままでは、大きな画面で見ると粗く見えます。

    • そこで、気に入った 1 本だけを 2 段階で大きくしました。まず AI が細部を描き直しながら 2 倍にし、次に中身を変えずに細かく描き足して、HD と 4K まで大きくしています。

    • 同じ場面の同じ所を切り出して、4 つの大きさで並べました。どこで何が変わるかを、写真で見比べられるようにしています。

    • 4K は手元の PC では重いので、時間貸しの GPU を借りて作りました。

    動いているところ(4K に仕上げるまで)は、この動画で見られます(4K の部分は超解像 1.0.3 で撮りました)。

    ここから先は、くわしい開発記録です。 専門的な言葉や数字が出てきます。難しければ、いちばん下の「まとめ」だけ読んでも流れが分かります。

    発端

    手元の PC では、動画は小さくしか作れません。それなら、小さく何本か作って、選んだ 1 本だけを大きくすればいい、と考えました。仕上げに 4K まで大きくできることは、むしろ一番の売りになると思っています。ただ、文章と小さな比較だけでは、実際にどれくらい変わるのかが伝わりにくいと感じていました。解像度の違いは、動画よりも、拡大した写真を並べる方が分かりやすいので、この回は見比べることに絞りました。

    今どこか: 配布版に入りました(ローカル版 Cinematic Director(https://www.ullstudio.com/local) 1.4.x の「あとから高解像度」
    ・超解像のローカル版(https://www.ullstudio.com/local) 1.0.1)。4K の動画を区切って作る直しも、超解像 1.0.3 として配布版に入りました。


    素材

    • ひなたが、晴れた日の紅葉の並木道で話す 4.1 秒の動画です(胸から上の寄り・白い縄編みのニット・横からの光で髪のふちが光る)。セリフは「小さく作って、あとから大きく。」で、セリフを言い終えた所で切りました。

    • 288p(512×288)で作った紅葉の下書きのうち、セリフを言えていたのは 3 本でした。その 3 本から、「顔が大きく映っている」1 本を選びました。

    4 つの大きさ

    画像
    4 つの大きさ(段・大きさ・作り方・作った場所)
    画像
    288p・1024×576・HD・4K の同じ時刻のコマ(全体)

    動いているところは動画で(4 段の見比べ):

    同じ所を切り出して並べる

    画像
    目元・前髪とニットの編み目を、288p・1024×576・HD・4K で並べたもの

    4K に仕上げる操作は動画で:

    • 288p → 1024×576: まつ毛が描かれ、首元のリブ編みが 1 本ずつの線になり、胸元に縄編みの模様が出てきました。このあいだは描き直しなので、表情や前髪の流れも少し変わります(同じ時刻でも、288p と 1024×576 は完全には重なりません)。

    • 1024×576 → HD: 顔・前髪・表情はそのままで、まつ毛と髪の毛先が細く、くっきりしました。縄編みには毛糸の撚りのような細かい模様が描き足されました。

    • HD → 4K: 顔・前髪・表情は、ここでも変わりません。まつ毛は 1 本ずつがさらにくっきりして、HD ではぼんやりしていた下まつ毛も見えるようになりました。ニットは、首元のリブ編みと縄編みの毛糸の筋が細く、はっきりしました。

    • HD と 4K は、どちらも 1024×576 から作っています(HD を 4K にしたのではありません)。超解像の版も違います(HD は 1.0.2、4K は区切って作るように直した 1.0.3)。並べて見たのは、2 秒目のコマ 1 枚です。

    もっと小さな下書き(224p)から 4K まで上げて、同じコマで比べたところは、ガチャの動画で:

    気をつけたこと

    • 比べるときは、同じ時刻のコマを使い、どれも同じ大きさに引き伸ばしてから並べました(小さい方を、ふつうの拡大で引き伸ばしています)。

    • 超解像は、中身を変えずに細部を描き足すので、元にない物(読めない文字など)は作りません。崩れた所はそのまま残るので、先に「あとから高解像度」で整えてから使います。

    • 4K は手元の PC では重いので、GPU を借りて作りました。一度に作るとメモリがあふれて止まったため、動画を短く区切って作るように直しています(くわしくは「借りた GPU の中を見えるようにしたら」の回)。かかった時間は、PC や GPU によって何倍も変わるので書きません。

    まとめ

    手元の PC では、動画はまず小さく作ります。気に入った 1 本だけを、AI に描き直させながら 2 倍にし、仕上げに細部を描き足して HD と 4K まで大きくしました。同じ所を 4 つの大きさで並べると、288p → 1024×576 では絵そのものが描き直され、HD・4K では顔はそのままに、まつ毛や毛糸の筋がだんだん細かくなるのが分かります。手元の PC で 4K まで作るなら重いので、GPU を借りる(RunPod)のがおすすめです。


    Powered by MiniMax H3。動画は AI で作ったものです。登場する人物(ひなた)は架空の人物です。

    手元の PC で動かしたい方: ローカル版 https://www.ullstudio.com/local

    GPU が足りなければ: RunPod でも動きます https://www.runpod.io/?ref=xibwg5zk

    この回で使ったツール: Cinematic Director(ローカル版)・超解像(ローカル版)

    超解像の使い方(動画):

    ULL 式ガチャのススメ(動画):

    関連の動画(再生リスト「ULL Studio ローカル版の使い方」): https://www.youtube.com/playlist?list=PLG7DbTU8pe7U(下書きガチャ → 超解像の順)

     
     
    声が届く距離の、映像スタジオ「ULL Studio」の公式noteです。顔の写真1枚から、同じ人がどんな場面でも動いてしゃべる動画まで。使い方のコツや、お客さまの要望から生まれた新機能、制作の裏側を書いていきます。運営: UNDERPLAY LOGIC LAB

    あなたへのおすすめ