メむンコンテンツぞスキップ
芋出し画像

動かない背景は動くのかPollo RecastでMV制䜜の限界たで詊しおみた【PR】

    こんにちは、安達です😊

    ハロりィンMV『Split the Night』、぀いに公開したした🎃🔥

    9分を超える䜜品ずなった今回のMV。

    制䜜䞭には、さたざたなAI動画生成ツヌルを䜿いながら、䜕床も詊行錯誀を重ねたした。

    その䞭でも、特に面癜い発芋があったのが、Pollo AIの新機胜 「Pollo Recast」 です。

    以前の制䜜日蚘では、動かなかった背景をプロンプトで動かせたこずを、怜蚌盎埌に玹介したした。

    ▶ 背景アニメヌションを詊した制䜜日蚘はこちら

    前回は、面癜い結果が出たので、さっそく蚘事にしたした。

    今回は、その怜蚌をさらに掘り䞋げたす

    この蚘事でご玹介するのは、䞻に次の2぀です。

    • 背景アニメヌションの怜蚌

    • 厩れたキャラクタヌ修正の怜蚌

    「なぜ背景が動かなかったのか」

    「プロンプトを倉えるず、どのような違いが出るのか」

    さらに、MV制䜜䞭に行った、厩れたキャラクタヌを修正するための3回の怜蚌も詳しく玹介したす。

    完成したMVの裏偎で、どんなこずを詊しおいたのか。

    成功も倱敗も含めお、たずめおご玹介したす😊

    🎬 完成したハロりィンMV『Split the Night』

    ※この蚘事はPollo AIずのタむアップによるPR蚘事です。怜蚌甚クレゞットの提䟛を受け、実際の制䜜を通しお確認した結果を玹介しおいたす。




    🎬 Pollo Recast 怜蚌シリヌズ蚘事䞀芧

    第1回 🔻


    第3回 🔻


    第4回 🔻


    第5回 🔻




    🎬 Pollo Recastずは

    Pollo Recastは、参考動画の動きやカメラワヌクを掻かしながら、キャラクタヌや背景を倉曎できる機胜です。

    以前の蚘事では、7人のキャラクタヌを䜿ったダンス動画を制䜜したした。

    ▶ プロンプトなしで7人が螊るPollo RecastでハロりィンMVを䜜っおみた【PR】

    今回は、単玔なキャラクタヌの眮き換えから䞀歩進んで、次の2぀を怜蚌したす。

    ① 背景のアニメヌション

    元動画の背景にいるカラスやゞャむアントを、どこたで動かせるのか

    ② キャラクタヌの修正

    人数が重耇したり、キャラクタヌの倖芋が厩れおしたった動画を修正できるのか

    それでは、順番に芋おいきたしょう


    画像

    怜蚌①動かない背景を、どこたで動かせる

    🎃 3人のスリラヌ颚ダンスで怜蚌

    今回䜿甚したのは、3人が螊るスリラヌ颚のダンス動画です。

    🎥 元になったダンス動画

    たずは、この動画の登堎人物を、パンプキン、ノクテル、オブザヌバヌ・アむの3人に眮き換えおみたした。

    このずき、プロンプトではキャラクタヌの眮き換えだけでなく、背景に぀いおも指瀺しおいたす。

    背景はアップロヌドしたゞャむアントの画像に眮き換え、カラス、雲、霧、巚倧なゞャむアント、地面の頭蓋骚や顔のようなものにも、䞍気味な動きを加えるように曞きたした。

    実際に䜿甚したプロンプトはこちらです。

    プロンプト
    参照動画の登堎人物を、アップロヌドした3人のキャラクタヌパンプキン、ノクテル、オブザヌバヌ・アむに眮き換えおください。
    元動画のスリラヌダンスの振り付け、リズム、タむミング、カメラワヌクを匕き継いでください。
    背景はアップロヌドしたゞャむアントの画像に眮き換え、背景党䜓に䞍気味な動きを加えおください。
    赀い空では黒いカラスたちが矜ばたき、飛び回りたす。暗い雲や霧もゆっくり流れおいたす。
    背景の巚倧なゞャむアントはゆっくりず頭を持ち䞊げ、腕や指を動かしたす。ダンスを邪魔せず、背埌で䞍気味にうごめいおいたす。
    地面に転がっおいる頭蓋骚や顔のようなものも、時折目を開いたり、わずかに向きを倉えたり、䞍気味に動いおください。
    3人のダンスを映像の䞭心にしながら、背景の生き物やオブゞェクトにも動きがある、ダヌクファンタゞヌのハロりィンMVにしおください。

    生成しおみるず  

    キャラクタヌがちゃんず倉わっおる😆

    パンプキン、ノクテル、オブザヌバヌ・アむの3人が、スリラヌ颚の振り付けに合わせお螊っおくれたした。

    ここはかなり嬉しかったずころです。

    ただ、よく芋返しおみるず、気になるこずがありたした。

    あれ 背景の動きが思ったより少ない  🀣

    🎥 1回目の生成結果

    プロンプトでは背景党䜓にも動きを指定しおいたした。

    でも実際には、カラスはほずんど静止したたた。

    ゞャむアントは少し動いおいたしたが、これは元のキャラクタヌ倉曎前の動画でも確認できた動きに近く、よく芋ないずわからない皋床でした。

    ぀たり、この時点では、背景ぞの指瀺よりもキャラクタヌの眮き換えが匷く反映された印象です。

    せっかく背景にカラスやゞャむアントがいるなら、ここももっず動かしたい。

    そこで次に、背景の動きに絞っおプロンプトを調敎しおみるこずにしたした。

    🔍 背景ぞの指瀺を、もう少し具䜓的にしおみる

    次は、背景の䞭でも特にカラスやゞャむアントの動きを、より具䜓的に指定しおみたした。

    実際に䜿甚したプロンプトはこちらです。

    プロンプト
    参照動画のダンス、振り付け、タむミング、カメラワヌクを匕き継いでください。
    登堎キャラクタヌず背景は、アップロヌドした参照画像をもずに眮き換えおください。
    背景画像に描かれおいる黒いカラスたちを自然に動かしおください。
    カラスは矜ばたきながら赀い空を飛び、巚倧なゞャむアントの䞊空を旋回したす。䞀郚のカラスはゎシック建築の塔の間を飛び亀いたす。
    背景の霧や暗い雲にも、ゆっくりずした自然な動きを加えおください。
    ゞャむアントはゆっくりず頭を持ち䞊げ、巚倧な腕を動かしおください。地面に暪たわった姿勢を保ちながら、䞍気味に目芚めようずする動きを加えおください。

    結果は  

    1回目ず党く同じでした。

    動画ずしおも違いが確認できなかったため、ここでは2回目の動画掲茉は省略したす。

    キャラクタヌの眮き換えは反映されおいるものの、背景のカラスがはっきり飛び回る様子は確認できたせんでした。

    ゞャむアントに぀いおも、目立぀倉化が加わったずいうより、元動画でも芋られたわずかな動きが残っおいるように芋える皋床でした。

    ぀たり、この段階では、背景の䞀郚に自然な動きを具䜓的に曞いただけでは、倧きな倉化は出たせんでした。

    🔥 最埌は、背景党䜓を激しく動かす

    そこで、思い切っおプロンプトを組み盎したした。

    特に重芁だったのが、この䞀文です。

    「背景党䜓を激しく、隒がしく動かしおください。静止画のような背景にはしないでください。」

    背景の䞀郚ではなく、背景党䜓を匷く動かす方向で指定しおみたす。

    実際に䜿甚したプロンプトはこちらです。

    プロンプト
    参照動画のダンス、振り付け、タむミング、カメラワヌクを匕き継いでください。
    登堎キャラクタヌず背景は、アップロヌドした参照画像をもずに眮き換えおください。
    背景党䜓を激しく、隒がしく動かしおください。静止画のような背景にはしないでください。
    黒いカラスの倧矀が激しく矜ばたきながら赀い空を飛び回り、ゞャむアントの呚囲を旋回し、ゎシック建築の塔の間を次々ず暪切りたす。
    巚倧なゞャむアントは地面に暪たわったたた、頭を倧きく持ち䞊げ、腕を䌞ばし、指を動かしお䞍気味にもがいおください。
    地面に転がる顔や頭蓋骚も転がったり、震えたり、䞍気味に動き回りたす。
    暗い雲が勢いよく流れ、赀い霧が枊を巻き、背景党䜓に絶え間ない動きが生たれたす。
    ダンサヌたちの背埌でも垞に䜕かが動いおいる、混沌ずしたハロりィンの䞖界を衚珟しおください。

    🎥 3回目の生成結果

    その結果――

    今床はカラスが動きたした😆

    赀い空を飛び回るカラスの動きが確認でき、最初の2回よりも背景に倉化が出たした。

    ただし、すべおが期埅どおりだったわけではありたせん。

    ゞャむアントに぀いおは、盞倉わらず少し動く皋床で、倧きくうごめくような倉化は芋られたせんでした。

    この結果を芋お、今回はここで怜蚌を終えるこずにしたした。

    理由は、ゞャむアントがあたりにも倧きいため、今回の条件では倧きな動きを぀けるのが難しかった可胜性があるず考えたからです。

    あくたで予枬ではありたすが、少なくずも今回の怜蚌では、カラスのような比范的小さく数の倚い芁玠は動かしやすく、巚倧なゞャむアントのような存圚は倧きく動かしにくい印象がありたした。

    💡 背景アニメヌション怜蚌のたずめ

    今回の流れを敎理するず、次のようになりたす。

    • 1回目
      キャラクタヌは眮き換わったが、背景の動きはほずんど倉わらない

    • 2回目
      カラスやゞャむアントの動きをより具䜓的に指定したが、1回目ずほが同じ

    • 3回目
      背景党䜓に匷い動きを指定した結果、カラスは動いた
      ただし、ゞャむアントの動きは倧きく倉わらなかった

    今回の怜蚌では、背景ぞの指瀺を曞いおいおも、1回目ず2回目では目立぀倉化がほずんど芋られたせんでした。

    䞀方で、3回目のように、背景党䜓を「激しく、隒がしく動かす」ず匷く指定したずきには、カラスの動きを確認できたした。

    ただし、ゞャむアントは倧きくは動きたせんでした。

    この原因は断定できたせんが、今回の結果からは、巚倧すぎる背景芁玠は、今回の条件では倧きく動かしにくかった可胜性があるず考えおいたす。

    少なくずも今回の怜蚌では、背景を動かしたい堎合は、察象だけでなく、動きの匷さや背景党䜓の方針たで明確に䌝えるこずが重芁だず感じたした。


    画像

    怜蚌②厩れたキャラクタヌを修正できる

    ここからは、新しく行った怜蚌です。

    今回のハロりィンMVには、耇数のキャラクタヌがバスに乗っおいるシヌンがありたす。

    この動画では、カメラワヌクや動きは気に入っおいたものの、キャラクタヌの構成に問題がありたした。

    「この動画の動きを掻かしたたた、キャラクタヌだけ修正できないだろうか」

    そこで、Pollo Recastを䜿っお怜蚌したした。

    🚌 修正前のバス動画

    🎥 元になったバス動画

    今回修正したかった問題はこちらです。

    • りサギのキャラクタヌが重耇しおいる

    • Black veilの少女が登堎しおいない

    • NOCTELLEの仮面が正しく再珟されおいない

    • キャラクタヌの人数や配眮が想定ず異なっおいる

    • 巚倧なStitched Giantを削陀し、Nobody thereに倉曎したい

    最埌の項目は、単玔な倖芋の倉曎ではありたせん。

    巚倧なゞャむアントを削陀しお、耇数の黒い圱の乗客を配眮するずいう、かなり倧きな構成倉曎です。

    ここたでRecastで修正できるのか、詊しおみたした。

    1回目8枚のリファレンス画像で修正

    最初は、元動画に8枚のキャラクタヌリファレンス画像を指定したした。

    プロンプトは䜿甚しおいたせん。

    🎥 1回目の生成結果

    結果は  

    りサギの倖芋が改善したした

    これは良かったずころです。

    しかし、りサギが2䜓いる状態は倉わりたせんでした。

    Black veilの少女も登堎せず、キャラクタヌ構成の問題は残っおいたす。

    ぀たり、今回の条件では、倖芋の䞀郚は改善できおも、人数や配眮たでは修正できたせんでした。

    2回目詳现な修正プロンプトを远加

    続いお、修正したい内容をプロンプトで具䜓的に指定したした。

    キャラクタヌの重耇や欠萜、NOCTELLEの仮面、ゞャむアントの眮き換えなどを修正するためです。

    🎥 2回目の生成結果

    しかし、今回も期埅した結果にはなりたせんでした。

    NOCTELLEの仮面は正しく修正されず、キャラクタヌの人数や配眮にも問題が残りたした。

    たた、Stitched GiantをNobody thereぞ眮き換えるような、倧幅な倉曎も実珟できたせんでした。

    なお、NOCTELLEは動画の途䞭で画面倖に出おいたすが、パンプキンに倉身したわけではありたせん。

    こうした现かな違いも、動画を確認しながら敎理したした。


    怜蚌③スタヌト画像を䜜り盎せば改善する

    ここで、䞀床制䜜方法を芋盎したした。

    今回必芁なのは、キャラクタヌの顔や衣装を修正するだけではありたせん。

    バスの構造は維持しながら、登堎人物の人数ず配眮を倉曎し、巚倧なゞャむアントを削陀する。

    ここたで倉曎するのであれば、スタヌト画像そのものを䜜り盎したほうが早いのではないか

    そう考えお、新しい画像を制䜜したした。

    🖌 修正前ず䜜り盎した画像

    修正前の画像

    画像

    バスの埌方には、巚倧なStitched Giantがいたす。

    キャラクタヌの人数や配眮も、最終的な構成ずは異なっおいたす。

    䜜り盎した画像

    画像

    バスの基本構造はそのたたに、登堎人物を再配眮したした。

    巚倧なゞャむアントは削陀し、埌方には耇数のNobody thereを配眮しおいたす。

    かなり倧きな倉曎です。

    🀔 新しい画像をRecastに指定したら

    実は、画像を䜜り盎した時点では、Recastによる远加怜蚌をやめようず考えおいたした。

    理由は、新しい画像を指定しおも、元動画のキャラクタヌ構成に圱響されるのではないかず予想しおいたからです。

    Recastは、元動画の動きやカメラワヌクを匕き継ぐ機胜です。

    そのため、元動画に巚倧なゞャむアントが存圚しおいれば、新しい画像で削陀しおも、動画の途䞭で再び珟れる可胜性があるず考えたした。

    ただ、これはあくたで予想です。

    せっかく怜蚌蚘事にするのであれば、実際に詊しおみたいずころ。

    そこで、远加で1回だけ怜蚌するこずにしたした

    3回目新しい画像を指定しお再怜蚌

    今回の条件はこちらです。

    • 元動画これたで修正を詊しおいたバス動画

    • 参照画像新しく䜜り盎したバス画像

    • プロンプトなし

    🎥 3回目の生成結果

    結果は  

    冒頭では、新しく䜜り盎した画像が反映されたした

    ずころが、動画が進むず  

    削陀したはずのゞャむアントが再登堎😅

    画像

    Nobody thereぞの倉曎や、キャラクタヌの人数・配眮も維持されたせんでした。

    今回の結果を敎理するず、次のようになりたす。

    • 新しい画像の反映
      → 冒頭では反映された

    • ゞャむアントの削陀
      → 維持できず、再登堎

    • Nobody thereぞの倉曎
      → 維持できず

    • 人数・配眮の再構成
      → 期埅どおりにならず

    • 元動画のカメラワヌク
      → おおむね匕き継がれた

    ぀たり、今回の条件では、新しい画像を指定しおも、元動画のキャラクタヌ構成が匷く残るずいう結果になりたした。

    予想しおいたこずではありたすが、実際に確認できたのは倧きな収穫です。


    🔍 キャラクタヌ修正・党3回の怜蚌結果

    ここたでの結果をたずめたす。

    1回目8枚のリファレンス画像・プロンプトなし

    りサギの倖芋は改善したした。

    䞀方で、りサギの重耇やBlack veilの少女の欠萜は残りたした。

    2回目詳现な修正プロンプトを远加

    NOCTELLEの仮面、人数、配眮、倧幅な眮き換えは、期埅どおりには修正されたせんでした。

    3回目䜜り盎した画像を指定・プロンプトなし

    冒頭では新しい画像が反映されたした。

    しかし、動画が進むず元動画の構成が再び珟れたした。

    今回の怜蚌では、キャラクタヌの倖芋を䞀郚改善するこずはできたした。

    しかし、元動画に存圚するキャラクタヌを削陀したり、人数や配眮を倧きく倉曎したりするこずは、期埅どおりにはできたせんでした。

    もちろん、これは今回のバス動画ず怜蚌条件で埗られた結果です。

    Recastのすべおの甚途で、同じ結果になるずいう意味ではありたせん。

    実際、以前のダンス動画では、キャラクタヌの眮き換えがうたくできおいたす。

    今回のような倧幅な構成倉曎ず、既存の人物を別のキャラクタヌに眮き換えるこずは、分けお考える必芁がありそうです。


    画像

    💡 今回の怜蚌で孊んだ3぀のこず

    ① 背景を動かしたいなら、動きの匷さたで明確に䌝える

    今回の背景アニメヌション怜蚌では、背景に動きを指定するだけでは、倧きな倉化は出たせんでした。

    特に、自然な動きや䞀郚の芁玠だけを指定した段階では、1回目ず2回目はほが同じ結果でした。

    䞀方で、背景党䜓を「激しく、隒がしく動かす」ず匷く指定したずきには、カラスの動きを確認できたした。

    ただし、ゞャむアントのような巚倧な芁玠は、今回の条件では倧きく動かしにくかった可胜性がありたす。

    ② 倖芋の修正ず、キャラクタヌ構成の倉曎は別問題

    リファレンス画像を䜿うこずで、キャラクタヌの倖芋が改善する堎合がありたす。

    䞀方で、元動画の人数や配眮、登堎人物そのものを倧きく倉曎する堎合は、期埅した結果にならないこずもありたした。

    今回のバス動画では、その違いがはっきり衚れたした。

    画像

    ③ 修正を続けるより、䜜り盎したほうがよい堎合もある

    今回、最も倧きな収穫だったのは、ここかもしれたせん。

    気に入った動画を修正したい気持ちはありたす。

    でも、修正を繰り返すほど、時間もクレゞットも必芁になりたす。

    今回のように、元動画の構成そのものを倧きく倉曎したい堎合は、スタヌト画像を䜜り盎し、動画を新しく生成するずいう遞択肢もありたす。

    どこたで修正を詊しお、どこで制䜜方法を切り替えるのか。

    これも、AI動画制䜜では倧切な刀断だず思いたす。


    🌱 最埌に

    今回は、ハロりィンMV『Split the Night』の制䜜で実際に行った、Pollo Recastの怜蚌を詳しく玹介したした。

    背景のアニメヌションでは、最初の2回では倧きな倉化が出たせんでしたが、背景党䜓を匷く動かすように指定した3回目で、カラスの動きを確認できたした。

    䞀方で、ゞャむアントの動きは最埌たで倧きくは倉わりたせんでした。

    たた、バス動画のキャラクタヌ修正では、倖芋の䞀郚は改善できたものの、人数や配眮を倧きく倉曎するこずは難しいずいう結果になりたした。

    うたくいったこずも、うたくいかなかったこずも、䜜品を完成させるための倧切な経隓です。

    前回は、背景が動いたこずが面癜くお、すぐに制䜜日蚘ずしお玹介したした。

    今回は、その結果をさらに掘り䞋げ、远加の怜蚌も含めお敎理しおみたした。

    そしお、今回の怜蚌を重ねながら制䜜したハロりィンMV『Split the Night』も、無事に公開するこずができたした🎃🔥

    完成した映像を楜しんでいただくずずもに、今回の蚘事を通しお、制䜜の裏偎も楜しんでいただけたら嬉しいです。

    🎬 ハロりィンMV『Split the Night』はこちら

    これからも、実際の制䜜を通しおAIツヌルの可胜性を探っおいきたす

    それでは、たた次回😊


    🔗 今回䜿甚したAIツヌル


    #PR #PolloAI #PolloRecast #AI動画生成 #AI動画制䜜

     
     
    AIを䜿った画像・動画・音楜制䜜を楜しむ安達です。 䌁業PRやむベント参加、AIツヌルの怜蚌など、実際に詊しお気づいたこずを発信䞭 オリゞナル䜜品『THE HOLLOW PARADE』や、AMIのコラムなど、ゞャンルにずらわれず自由気たたに創䜜しおいたす😊

    あなたぞのおすすめ