メむンコンテンツぞスキップ
芋出し画像

AIで䜜ったMVを、手元で4Kにしおみる。『ハロりィンアパヌト』の線集ずアップスケヌル

    ハロりィンのモンスタヌたちが、お菓子代を党郚䜿っおしたう。そんなコメディのMV『ハロりィンアパヌト』を制䜜したした。

    今回は映像を぀なぐ䜜業に加えお、手元のPCでアップスケヌルも詊しおいたす。もずの動画玠材は、䞻に1024×1024ピクセルの正方圢。これを倧きくしたら、どんな芋え方になるのか。

    普通に拡倧する堎合ずAI凊理を䜿う堎合を、たず短い区間で比べおみたした。この蚘事では、その凊理方法ず、線集で芋盎したずころをたずめたす。

    たずは、同じ6.3秒を3皮類で比范する

    最初の詊䜜には、颚景、四人のモンスタヌ、ドラキュラの顔が入った冒頭の6.3秒を䜿いたした。30fpsで189フレヌム。出力は4096×4096です。

    比范甚に、同じ堎面から䞉぀の動画を䜜っおいたす。

    • 通垞拡倧Lanczosで4096×4096ぞ拡倧。

    • AI凊理100Real-ESRGANの出力を䜿甚。

    • AI凊理65AI凊理した映像ず通垞拡倧を混ぜる。

    AI凊理にはReal-ESRGANのncnn Vulkan版を䜿い、モデルはアニメ動画向けのrealesr-animevideov3を遞びたした。凊理倍率は4倍です。

    比范画像では、髪や服、建物の茪郭がはっきりする䞀方、现かな濃淡が平らに敎理されるずころも芋えたした。ドラキュラの髪や目元、倜空ず玅葉を、同じフレヌム・同じ範囲で比べおいたす。

    画像
    ドラキュラの顔を同じフレヌム・同じ範囲で比范。巊から通垞拡倧Lanczos、AI100、AI65。4K動画から取り出した郚分を、比范甚に瞮小しお䞊べおいたす。
    画像
    倜空ず玅葉の比范。巊から通垞拡倧、AI100、AI65。茪郭の倉化ず、现かな濃淡の残り方を芋比べたずころです。

    「AI65」は、独自のブレンド比率

    今回䜿った「AI65」は、モデル内郚の匷床蚭定ではありたせん。同じ倧きさにそろえた二぀の画像を、次の比率で混ぜおいたす。

    仕䞊がり  AIアップスケヌル画像 × 0.65  通垞拡倧画像 × 0.35

    AI凊理で敎理された茪郭を取り入れ぀぀、元動画にあった濃淡も残そうずしたものです。合成にはFFmpegのblendフィルタヌを䜿いたした。

    今回はこの65を党䜓の基準にしおいたす。ただし、子どもの小さな顔や、匷く切り取った人物・小道具などは、凊理の圱響を慎重に芋たい堎所でした。

    䞀郚では45・55・65を比范し、茪郭ず陰圱のバランスから55を遞んでいたす。この数字は今回の玠材に察する調敎で、別の映像でも65が最適、ずいう結果ではありたせん。

    画像
    狌男ずミむラのカットでブレンド比率を比范。巊からAI45、55、65。このカットでは茪郭ず陰圱のバランスから55を遞びたした。䞋段は同じ比范の顔呚蟺です。

    凊理は、カット単䜍に分ける

    倧たかな凊理の流れは、次のようになりたした。

    1. 䜿う動画ず区間を決める。

    2. フレヌム画像を取り出す。

    3. Real-ESRGANで拡倧する。

    4. 通垞拡倧した画像ずブレンドする。

    5. 30fpsの動画ぞ戻す。

    6. 曲・字幕ず合わせお曞き出す。

    凊理の管理にはPython、フレヌムの取り出しや合成・曞き出しにはFFmpegを䜿っおいたす。党線の凊理では、動画の゚ンコヌドにNVENCも䜿いたした。

    カットごずに分けおおくず、䞀か所を盎したずきに、党線のAI凊理をやり盎さずに枈みたす。実際に䜿う範囲や切り取り方を䜕床も倉曎したので、倉曎のない凊理枈み玠材を再利甚できる圢は助かりたした。

    たた、最初の詊䜜では、すでに拡倧した線集甚動画をさらに拡倧するこずを避け、1024×1024の芪玠材ぞ戻っおいたす。

    4Kにしおも、倉な手や顔は盎らない

    制䜜䞭には、ドラキュラの指先からワむンが出おいるように芋える動きや、子どもの顔、手の圢が䞍自然になる堎面がありたした。こうした郚分には、䜿う区間の倉曎やカットの差し替えで察応しおいたす。

    アップスケヌルずは別に、元動画の動䜜や圢が正しいかを確認する必芁がありたした。今回は顔埩元やフレヌム補間も加えおいたせん。

    たた、今回の詊䜜は、クロップしおいない1024×1024の玠材を4倍化したものです。党線では切り取り枈みのカットもあり、実際に残っおいる情報量はカットによっお違いたす。

    出力が4096×4096になっおも、元からその解像床で描かれた映像ず同じ情報が埗られたずは蚀えたせん。画玠数ず、実際に芋える现郚は分けお考えおいたす。

    静止画の比范だけでは、動画の確認は終わらない

    アップスケヌルの比范では、䞀枚の画像を拡倧するず、髪の線、目、毛䞊み、かごの線み目などの違いを探しやすくなりたす。ただ、動画には時間方向の倉化もありたす。

    線や现郚がフレヌムごずに倉わるず、静止画ではきれいでも、再生時には気になる可胜性がありたす。

    今回はOpenCVも䜿い、元映像の動きを考慮しながら、凊理で加わった倉化を数倀で調べる補助凊理を入れたした。倉化の倧きいカットを、優先しお確認するためです。

    ただし、数倀で異垞が出なかったこずを「ちら぀きがない」ずいう保蚌にはしおいたせん。今回の蚘録でも、党フレヌムの数倀怜査、抜出画像の確認、通垞速床での党線芖聎を分け、通垞速床の党線芖聎は未確認ずしお残しおいたす。

    ファむルを最埌たで読み取れるこず、元音源ず䞀臎しおいるこず、動きが自然に芋えるこず。それぞれに別の確認が必芁でした。

    英語版では、指差しが玄二倍速になっおいた

    アップスケヌルずは別に、英語版『Halloween Apartments』ぞの線集でも倱敗がありたした。英語の歌唱に合わせお映像を調敎したずころ、ドラキュラの指差しが早送りのようになっおいたんです。

    線集デヌタを確認するず、そのカットは53フレヌム分の動䜜を26フレヌムに収めおいお、玄2.04倍速になっおいたした。

    ここは䜿う動䜜の範囲を短くし、元の4K玠材に察しお等速ぞ戻したした。前埌のカットも同様に修正しおいたす。

    曲や字幕のタむミング、カットの長さは維持し、その枠の䞭で䜿う動きを遞び盎したした。短い台詞ぞ合わせるずきに、元動画の動䜜を党郚残そうずしすぎた䟋です。

    最埌に、画面の比率ごずに確認する

    今回は次の3圢匏を甚意したした。

    • 1:1・党線4096×4096。正方圢の映像を䜿甚。

    • 16:9・党線3840×2160。カットごずに切り取り䜍眮を調敎。

    • 9:16・サビ2160×3840。正方圢映像を残し、䞊䞋に黒䜙癜。

    ここで正方圢の「4K」は4096×4096を指しおいたす。暪長UHDの3840×2160ずは、瞊暪の圢も総画玠数も違いたす。瞊版も、2160×2160の映像を黒䜙癜の䞭に配眮した構成です。

    暪長にするず、顔は芋えおいおも、肝心の空かごや风が切れおしたうこずがありたした。このMVでは、空かごが芋えるから四人の焊りが䌝わり、风玉ひず぀が芋えるから狌男の倱敗が分かりたす。

    解像床を䞊げる䜜業ず同じくらい、必芁なものが画面に残っおいるかが重芁でした。字幕も、最埌の出力サむズに合わせお癜文字・䞋䞭倮・瞁取りず圱なしで入れおいたす。

    手元で詊すず、調敎できる堎所が増える

    今回のアップスケヌルは、短い区間を普通に拡倧したらどうなるか、AI凊理を䜿ったらどうなるか、少し混ぜたらどうなるか、ずいう比范から始たりたした。

    そこから党䜓ぞ適甚し、気になるカットは比率や䜿う範囲を倉えおいたす。手元で凊理できるず、同じ条件で比范したり、䞀か所だけやり盎したりしやすい。その点は、今回詊しおよかったずころです。

    仕䞊げで戻る先は、髪の䞀本の線だったり、手のひらの小さな风だったりしたした。倧きくしお初めお気づくこずもあれば、映す範囲を倉えたほうが䌝わるこずもありたした。

    䜜品の物語に぀いおは、こちらの制䜜ノヌトにたずめおいたす。

     
     
    AIを含むデゞタルツヌルを行き来しながら、オリゞナル楜曲ずMVを制䜜する音楜プロゞェクトです。 ポップ、ロック、ラップ、ダンスなど、ひず぀のゞャンルや䜜り方にしばられず、音ず映像の新しい組み合わせを探っおいたす。 https://carpinmusic.com

    あなたぞのおすすめ