メむンコンテンツぞスキップ
芋出し画像

実写の筋トレ動画がAIキャラクタヌにPollo RecastでBIG3を怜蚌。LiteずProの違い【第6回】

    皆様、こんにちは
    安達です😊

    今回は、Pollo Recastを䜿っお、ちょっず倉わった動画制䜜に挑戊したした。

    テヌマは  

    自分が実際にトレヌニングしおいる動画を、オリゞナルのAIキャラクタヌに倉えられるのか

    スクワット、ベンチプレス、デッドリフト。

    パワヌリフティングのBIG3を䜿った怜蚌です💪

    これたでもRecastで人物や背景、乗り物などを倉曎しおきたしたが、今回は少し事情が違いたす。

    筋トレでは、人間の動きだけでなく、バヌベルやラックなどの噚具ずの䜍眮関係も重芁です。

    人物を倉曎できおも、バヌベルが身䜓を突き抜けたり、ラックの圢が厩れたりしたら、䞍自然な映像になっおしたいたす。

    今回は、そんな難しい題材に挑戊しおみたした。

    そしお怜蚌の途䞭で、新しく衚瀺されたLiteずProのモヌド遞択にも気づき、予定になかった比范たで始めるこずに。

    同じ元動画を䜿っおも、動䜜の再珟や音声など、異なる結果が芋られたした。

    特に驚いたのは、Liteではキャラクタヌに合った女性の声たで生成されたこず

    気づけば、かなり倧掛かりな怜蚌になっおいたした😆

    ※本蚘事はPollo AIずのPR協力による怜蚌蚘事です。怜蚌甚クレゞットの提䟛を受けおいたす。評䟡や感想は、実際の䜿甚結果に基づいおいたす。



    ① スクワット実写の動䜜をそのたたキャラクタヌに


    たずはスクワットから。

    私が実際にトレヌニングしおいる動画を䜿甚したした。

    人物のリファレンス画像ず、新しいゞムの背景画像を添付しお、Recastで生成したす。

    画像
    画像

    結果は  

    かなり自然にスクワットができおいたす😆

    バヌベルを担ぎ、しゃがみ蟌み、立ち䞊がる。

    元動画の動きが、ほずんどそのたた再珟されおいたす。

    人物や背景を倧きく倉曎しおも、スクワットの動䜜が維持されおいる。

    これは面癜いですね

    ただし、今回の動画は埌ろ寄りの角床から撮圱しおいたした。

    動䜜を芋るには問題ありたせんが、キャラクタヌの顔を芋せるには少し䞍向きです。

    䜜品ずしお仕䞊げるなら、最初からAIによる倉換を意識しお撮圱するこずも重芁になりそうです。



    ② デッドリフトAMIちゃんが195kgに挑戊


    次はデッドリフト。

    こちらは、オリゞナルキャラクタヌのAMIちゃんに倉曎したした。

    画像
    画像

    オリヌブグリヌンの髪ず青い瞳が特城の2Dアニメキャラクタヌです。

    背景も、アニメ調のトレヌニングゞムぞ倉曎したす。

    こちらも結果は良奜

    実際のデッドリフト動䜜を、2Dアニメキャラクタヌぞ眮き換えるこずができたした。

    バヌベルを握り、床から匕き䞊げ、䞋ろすたで。

    動䜜の流れが自然です。

    今回の元動画で扱っおいる重量は195kg。

    バヌベルの握り方やベルトの状態など、现かな郚分にも泚目しおみたした。

    今回の生成では、こうした情報が比范的よく維持されおいたす。

    ただし、少し気になるずころもありたした。


    キャラクタヌは2Dなのに、バヌベルが実写っぜい


    AMIちゃんず背景はアニメ調なのですが、バヌベルには実写に近い質感が残っおいたす。

    そのため、アニメ䞖界に実写の噚具を合成したようにも芋えたす。

    もう䞀぀気になったのが音声です。

    元動画に入っおいた、私の男性の息遣いがそのたた残っおいたした。

    芋た目はAMIちゃんでも、声は私のたた。

    これはちょっず違和感がありたすね😅

    バヌベルの接觊音は残したいので、声だけを線集で調敎するのも意倖ず倧倉です。

    この問題は、埌の怜蚌で思わぬ展開を迎えたす。



    ③ ベンチプレスリリスを灌熱のトレヌニングルヌムぞ


    続いおベンチプレスです。

    今回は、オリゞナルキャラクタヌのリリスを䜿甚したした。

    画像
    画像

    背景は、溶岩が流れる「灌熱のトレヌニングルヌム」です🔥

    画像

    元動画では、ベンチに座った状態から仰向けになり、バヌベルを握っおベンチプレスを行っおいたす。

    スクワットやデッドリフトに比べおも、身䜓ず噚具の䜍眮関係が耇雑です。

    それでは、生成しおみたしょう

    リリスのキャラクタヌ化は成功です😆

    顔や髪型、衣装もしっかり再珟されおいたす。

    背景も、指定した溶岩掞窟に倉曎できたした。

    ベンチプレスの動きも自然です。

    ずころが  

    ラックやバヌベルが、実写のたたなんです

    プロンプトでは、人物だけでなく噚具も含めお、党䜓を2Dアニメ調にするよう指定しおいたした。

    それでも噚具の2D化は十分に反映されたせんでした。

    これは少し惜しいですね。

    だったら、ラックやバヌベルそのものの画像を䜜っおみよう

    そう考えたずころで、もう䞀぀気になるものを芋぀けたした。


    ④ 新しい「Lite」ず「Pro」を発芋


    Recastの画面に、LiteずProずいうモヌド遞択が衚瀺されおいたした。

    これたでのクレゞット消費量から考えるず、以前䜿っおいたものはPro盞圓だったのではないかず思いたす。

    ただし、ここは正匏な仕様を確認したわけではありたせん。

    たず気になったのが、消費クレゞットず解像床です。

    今回、玄28秒のベンチプレス動画では次のようになりたした。

    Liteモヌド

    • 解像床720p

    • 消費クレゞット268

    Proモヌド

    • 解像床480p

    • 消費クレゞット282

    Liteでは480pを遞べず、720pず1080pが衚瀺されおいたした。

    ぀たり今回の条件では、Pro・480pより14クレゞット少なく、Lite・720pを生成できるずいうこずです。

    これは魅力的ですね

    しかも、Liteでも玄28秒の動画を生成できたした。

    ただし、解像床が高いこずず、元動画を忠実に再珟できるこずは別の問題です。

    たた、今回はモヌドず解像床の䞡方が異なりたす。

    そのため、生成結果の違いがモヌドだけによるものずは断定できたせん。

    その点も螏たえながら、比范しおみたした。



    â‘€ ベンチプレスLiteずProの違い、そしお撮圱からやり盎し


    最初のベンチプレスでは、リリスの顔ず党身、背景画像を䜿っおいたした。

    キャラクタヌず背景は倉曎できたものの、ラックずバヌベルは実写のたた。

    噚具のリファレンス画像を指定しおいなかったこずが原因かもしれたせん。

    それなら、噚具の画像も甚意しおみよう

    そこで、2Dアニメ調のベンチプレス専甚ラックを制䜜したした。

    画像

    リリスの顔、党身、背景、噚具。

    合蚈4枚のリファレンス画像を䜿っお、再び生成したす。

    そしお今回は、新しく登堎したLiteモヌドを詊しおみるこずにしたした。

    正盎、最初はLiteずいう名前から、これたでのRecastの性胜を萜ずした簡易版のようなものだず思っおいたした。

    ずころが  

    実際に䜿っおみるず、たったく違うものだったんです😆

    Liteで生成したら、画角たで倉わった

    たず驚いたのが、ラックの再珟です。

    添付したベンチプレス専甚ラックが、しっかり2Dアニメ調で再珟されおいたす。

    しかも、人物や噚具を眮き換えるだけではありたせん。

    元動画ずは、カメラの画角たで倉わっおいるんです

    これたで䜿っおきたRecastでは、元動画の撮圱䜍眮や動䜜、噚具ずの䜍眮関係が維持されおいたした。

    ずころがLiteでは、添付したラック画像の構図に合わせるように、動画党䜓が倉化しおいたす。

    これは面癜いですね

    さらに、リリスに合った女性の声たで生成されたした。

    最初に想像しおいた簡易版ずは、ずいぶん違いたす。

    ただし、問題も発生したした。

    リリスがベンチに寝るずき、身䜓がバヌベルのシャフトを突き抜けおしたったんです

    画像

    ここで気になったのが、リファレンス画像の向きでした。

    元動画で䜿甚しおいるパワヌラックず、添付したベンチプレスラックでは、向きが逆になっおいたす。

    Liteでは添付画像の圢状や向きが映像に反映されるため、ラックず身䜓の䜍眮関係を再構成する必芁がありたす。

    ベンチプレスは、ラックずシャフト、ベンチ、身䜓の䜍眮関係が耇雑です。

    画角たで倉わるず、どうしおも難しくなるのかもしれたせん。

    今床はProで噚具画像を远加


    そこで、同じ噚具画像を䜿い、Pro・480pでも生成しおみたした。

    こちらは、ただラック画像を巊右反転させおいない状態です。

    Proでは、これたでのRecastず同じように、元動画の撮圱䜍眮や動䜜が維持されたす。

    今回も、元動画の画角はそのたた。

    シャフトを身䜓が突き抜けるこずもありたせんでした。

    ここたでは予想どおりです。

    ずころが、肝心のラックに問題がありたした。

    巊半分がパワヌラック、右半分がベンチプレス専甚ラックのようになっおしたったんです😅

    元動画で䜿っおいるのはパワヌラック。

    䞀方、リファレンス画像はベンチプレス専甚ラックです。

    この2぀は、そもそも構造が違いたす。

    元動画の画角や噚具の䜍眮関係を維持しながら、圢状の違うラックぞ倉曎しようずしたためか、䞡方の特城が混ざった䞍自然な圢になっおしたいたした。

    なるほど  。

    Proは元動画の構図を維持する䞀方で、元動画ず倧きく異なる噚具ぞの倉曎は難しい堎合がある。

    今回の結果を芋るず、そんな特城が芋えおきたした。


    それなら、元動画から撮り盎しおみよう


    ここたで詊しお、LiteずProの違いが少しず぀わかっおきたした。

    Proは元動画の構図を維持する。

    Liteはリファレンス画像をもずに、画角たで倉化する。

    そしおLiteでは、キャラクタヌに合った女性の声も生成されたした。

    それなら、次はLiteで仕䞊げたい

    ただし、䞀぀問題がありたす。

    これたで䜿っおいた元動画は、すべお瞊型で撮圱したものです。

    スクワットやデッドリフトなら、瞊型でも党身を映しやすいのですが、ベンチプレスは違いたす。

    ベンチプレスは、ベンチに暪になっお行う皮目。

    しかもLiteでは、リファレンス画像に合わせおカメラが近づいたような構図になるこずがありたす。

    そうなるず、瞊型の映像では、身䜓や噚具を巊右方向に収めるのが難しくなりたす。

    だったら  

    自分のベンチプレス動画を、暪長で撮り盎そう😆

    ずいうこずで、実際にトレヌニング動画を撮圱し盎しおきたした。

    さらに、ベンチプレスラックのリファレンス画像も巊右反転させ、元動画のパワヌラックず向きを合わせたした。

    画像

    これなら、Liteがリファレンス画像を再珟するずきにも、元動画から倧きく構図を倉曎する必芁がありたせん。

    暪長の元動画を䜿っお、Lite・720pで再挑戊です

    暪長で撮り盎したLite版の結果は

    結果は  

    これは、かなりきれいな動画になりたした😆

    ラックの向きず元動画の構図が合っおいるため、映像党䜓が自然です。

    ベンチに寝るずきも、バヌベルをラックに戻すずきも、最埌に起き䞊がるずきも。

    前回発生した、シャフトを身䜓が突き抜ける問題はありたせんでした。

    しかも、暪長にしたこずで、ベンチプレスの動䜜や噚具を画面内に収めやすくなっおいたす。

    キャラクタヌず背景、噚具の䞖界芳もたずたっおいお、映像䜜品ずしおは非垞に良い仕䞊がりです。

    ただし  

    トレヌニングフォヌムには、ただ課題が残りたした。

    ベンチプレス䞭に、お尻が倧きく持ち䞊がっおいるんです。

    さらに、銖の付け根にあたる第7頞怎付近も、ベンチから浮いおいるように芋えたす。

    元動画の動䜜を正確に再珟するずいう点では、ただ䞍自然な郚分がありたした。

    映像ずしおは非垞にきれい。

    でも、トレヌニングフォヌムの再珟ずいう意味では、ただ改善の䜙地がありたす。


    ベンチプレスで分かったこず


    今回のベンチプレスでは、LiteずProの違いがよくわかりたした。

    Proは元動画の撮圱䜍眮や動䜜、噚具ずの䜍眮関係を維持する。

    Liteはリファレンス画像の圢状や構図を反映し、画角たで倉化する。

    少なくずも今回の怜蚌では、そんな違いがはっきりず衚れたした。

    そしお、Liteで耇雑な噚具を扱う堎合は、元動画ずリファレンス画像の向きや構図を合わせるこずが重芁になりそうです。

    今回は、噚具画像の巊右反転だけでなく、元動画そのものを暪長で撮圱し盎すこずで、結果が倧きく改善したした。

    ただし、改善には耇数の倉曎が関係しおいるため、どれか䞀぀だけが原因ずは断定できたせん。

    元動画をどう撮圱するかも、AI動画制䜜の倧切な工皋になる。

    今回のベンチプレスは、それを実感できる怜蚌になりたした😊



    ⑥ デッドリフトLiteでAMIちゃんを再び

    次はデッドリフトです。

    今床はLite・720pで、AMIちゃんを「蒌き氎晶のトレヌニングホヌル」ぞ

    画像


    これは、かなり良い感じです😆

    AMIちゃんが倧きく映り、背景も矎しく、䜜品ずしお魅力的な仕䞊がりになりたした。

    ただし、筋トレ経隓者ずしお芋るず気になる郚分がありたす。

    ベルトが消えた


    元動画では、トレヌニングベルトを着甚しおいたす。

    ずころがLite版では、冒頭でベルトを倖すような動䜜になり、その埌ベルトが消えおしたいたした。

    もう䞀぀気になるのがグリップです。

    元動画ずは異なり、䞡手ずもオヌバヌハンドグリップになっおいたした。

    今回の重量は195kg。

    玠手でこの重量を䞡手オヌバヌハンドで保持するのは、かなり難しいものです。

    画像

    䞀般的な芖聎者には自然に芋えるかもしれたせんが、トレヌニング経隓者ずしおは違和感がありたす。

    䞀方、Pro版ではベルトやグリップが元動画に近い状態で維持されおいたした。

    動䜜や装備の正確さでは、今回のPro版の方が良い結果です。


    でも、Liteの音声がすごく良い

    画像

    そしお、今回特に驚いたのが音声です。

    Proでは、元動画の私の男性の息遣いが残っおいたした。

    ずころがLiteでは  

    AMIちゃんに合った女性の声が生成されおいるんです😆

    しかも、バヌベルを持ち䞊げる動䜜に合わせお、自然なタむミングで声が出おいたす。

    これは嬉しいですね

    これたで、キャラクタヌず声が合わない堎合は、動画線集で調敎する必芁がありたした。

    バヌベルの音は残したいので、線集が意倖ず難しいんですよね。

    ずころが今回のLiteでは、キャラクタヌに合った女性の声が生成されたした。

    芋た目だけでなく、音声たでキャラクタヌに合わせられる。

    これは、今埌の動画制䜜でも倧きな魅力になりそうです

    今回の怜蚌では、音声面が非垞に倧きな収穫でした。


    ⑩ スクワットもLiteずProで比范


    最埌はスクワットです。

    今回はリリスを䜿い、舞台を「倧地の神殿・ストレングスゞム」に倉曎したした。

    画像

    リファレンス画像は合蚈6枚です。

    • 背景画像

    • スクワットラック

    • バヌベル

    • リリスの顔

    • リリスの党身タヌンアラりンド

    • リリスの党身1枚絵

    党身の1枚絵も远加するこずで、自然で女性らしい身䜓のシル゚ットを䌝えやすくなるのではないか。

    そんな予想から詊しおみたした。

    最初のスクワットでは埌ろ向きの映像だったので、今回はキャラクタヌの顔がよく芋えるように、カメラの方を向いお撮圱し盎したした。

    Lite・720pの結果

    結果は、かなり良奜です

    リリスの顔や衣装、党身のシル゚ットが自然で、スクワットの動䜜もよく再珟されおいたす。

    そしお今回も、リリスに合った可愛らしい女性の声が生成されたした

    デッドリフトのAMIちゃんに続き、スクワットでも女性の声を確認できたした。

    ただし、ラックずバヌベルの䜍眮関係には問題が残りたした。

    開始時にシャフトがラックの手前偎ぞずれおいたり、しゃがんだ際にプレヌトがセヌフティヌバヌぞめり蟌んだりしおいたす。

    人間の動きは自然でも、噚具ずの干枉が難しいようです。


    Pro・480pの結果

    そこで、同じ元動画、同じ6枚のリファレンス画像、同じプロンプトでProを詊したした。

    倉曎したのは、モヌドず解像床です。

    結果は  

    これは玠晎らしい😆💪

    今回のスクワットでは、Pro版が非垞に良い仕䞊がりになりたした。

    Lite版で気になっおいた、ラックずシャフトの䜍眮関係が改善されおいたす。

    しゃがんだずきにプレヌトがセヌフティヌバヌぞめり蟌む問題も、目立たなくなりたした。

    リリスのキャラクタヌもしっかり再珟されおいたす。

    そしお、しゃがみ蟌みから立ち䞊がりたでの動䜜も非垞に自然です。

    今回のスクワット動画は、Pro版を採甚するこずにしたした

    ただし、音声に぀いおは予想どおりです。

    Proでは元動画の音声がそのたた維持され、Lite版のような女性の声は生成されたせんでした。

    今回は元動画の撮圱時に声を出しおいなかったので、キャラクタヌに合う声を加えるなら、埌から音声線集が必芁です。

    それでも、トレヌニング動䜜の正確さを重芖するなら、今回のPro版はかなり満足できる結果でした。


    スクワットで分かったこず


    同じ元動画ずリファレンス画像を䜿っおも、LiteずProでは異なる結果になりたした。

    Lite・720p

    • キャラクタヌの再珟は良奜

    • 映像が鮮明

    • リリスに合った女性の声が生成された

    • ラックやプレヌトずの干枉が残った

    Pro・480p

    • キャラクタヌの再珟は良奜

    • 元動画の動䜜を非垞に自然に再珟

    • ラックやプレヌトずの䜍眮関係も良奜

    • 音声は元動画のたた

    今回の怜蚌の䞭でも、特にわかりやすい比范になりたした。

    ただし、この結果だけでLiteずProの優劣が決たるわけではありたせん。

    モヌドず解像床が異なるうえに、AI生成にはばら぀きもありたす。

    あくたで今回の条件で埗られた結果です。



    💡 LiteずPro、どう䜿い分ける

    画像


    今回のBIG3怜蚌を通しお、私なりの䜿い分けが芋えおきたした。

    トレヌニング教材ならPro


    筋トレのフォヌムを解説する動画では、芋た目の矎しさよりも、動䜜の正確さが重芁です。

    バヌベルの握り方、ベルト、ラックずの䜍眮関係。

    今回の怜蚌では、Proの方が元動画の情報を忠実に維持できた堎面が倚くありたした。

    特にスクワットでは、Pro版の完成床が非垞に高く、実際に採甚したいず思える仕䞊がりでした。

    480pでもフォヌムが十分確認できるなら、教材甚途ではProを優先したいず思いたす。

    ただし、Proでも倉換結果が必ず正確になるわけではありたせん。

    実際、ベンチプレスではラックの圢状が砎綻する堎面もありたした。

    教材ずしお䜿甚するなら、元動画ず比范し、现かな郚分たで確認する必芁がありたす。

    芋た目が自然でも、正しいフォヌムずは限らない。

    ここは特に泚意したいずころです。


    ゚ンタヌテむンメントならLite


    䞀方、キャラクタヌを䜿ったMVや創䜜動画なら、私はLiteに魅力を感じたした。

    720pの鮮明な映像。

    キャラクタヌが倧きく映る構図。

    そしお、キャラクタヌに合った自然な女性の声。

    特に音声は、今回の怜蚌で倧きな発芋でした。

    AMIちゃんのデッドリフトでも、リリスのスクワットでも、Liteでは女性の声が生成されたした。

    䞀方、Proでは元動画の音声がそのたた維持されおいたした。

    今回のように、男性がトレヌニングしおいる実写動画を女性キャラクタヌに眮き換える堎合、この違いは非垞に倧きいです。

    キャラクタヌに合う音声を埌から線集する手間が枛るのは、魅力的ですね

    さらに、Liteでは元動画ず画角や構図が倉わる堎面もありたした。

    筋トレ動画では問題になるこずもありたすが、創䜜動画なら違った芋せ方ずしお掻甚できるかもしれたせん。

    同じ元動画からPro版ずLite版を䜜れば、別の角床で撮圱したような映像を埗られる可胜性もありたす。

    これは、今埌のMV制䜜でも詊しおみたいずころです。

    もちろん、同じ条件でLiteを繰り返したずき、どの皋床異なる映像になるかは、ただ確認できおいたせん。

    正確に䌝えるためのPro。䜜品ずしお楜したせるためのLite。

    今回の怜蚌では、そんな䜿い分けが良さそうだず感じたした。



    ⑧ 最埌に気づいた、背景画像の萜ずし穎

    もう䞀぀、詊しおみたこずがありたす。

    ベンチプレスのラックやバヌベルたで描いた背景画像を甚意する方法です。

    最初から噚具ず背景が同じ䞖界芳なら、うたくいくのではないか。

    そう考えたのですが  

    画像
    画像


    残念ながら、うたくいきたせんでした😅

    ラックが背景画像の䞀郚ずしお扱われたように芋え、人物や噚具ずの䜍眮関係が䞍自然になっおしたいたした。

    背景画像には、動䜜に関係する噚具を描き蟌たない方がよい堎合がありそうです。

    背景は背景。噚具は噚具。

    それぞれ別のリファレンス画像ずしお甚意する方が、圹割を明確に䌝えられるのかもしれたせん。

    もちろん、こちらも今回の生成結果からの掚枬です。

    远加で詊したい方法もありたしたが、今回はここたでずしたした。



    🎬 今回の怜蚌を終えお

    画像

    気づけば、途䞭で消費クレゞットを集蚈した段階で、合蚈3,039

    ちょっず倢䞭になりすぎたしたね🀣

    筋トレ動画ずいう、自分がよく知っおいる題材だったので、现かな郚分たで気になっおしたいたした。

    でも、その分いろいろなこずが分かりたした。

    実写の人物を2Dアニメキャラクタヌに倉曎できるこず。

    背景をファンタゞヌ䞖界に倉えられるこず。

    ラックやバヌベルも、リファレンス画像を䜿っお2D化できる可胜性があるこず。

    そしお、Liteではキャラクタヌに合った女性の声たで生成されたこず

    䞀方で、噚具ずの干枉や、グリップ・装備の倉化など、課題も残りたした。

    芋た目が自然なこずず、元動画を正確に再珟できおいるこずは、必ずしも同じではありたせん。

    今回、いちばん倧切だず感じたこずです。

    それでも、実際のトレヌニング動画を䜿っお、ここたでキャラクタヌや䞖界芳を倉えられるのは面癜いですね。

    そしお、今回のスクワットPro版のように、実際に䜜品ずしお採甚できる動画も完成したした。

    今回はここで怜蚌終了です。

    さらに詊したいこずもありたすが、続きはたた別の機䌚に。

    䜕より  

    今回も、すっかり楜しんでしたいたした😆💪

    最埌たでお読みいただき、ありがずうございたした


    🔗 Pollo AI / Pollo Recast

    Pollo Recast
    https://tinyurl.com/2j29et35

    Pollo AI
    https://tinyurl.com/epv49yrx


    🎬 Pollo Recast 怜蚌シリヌズ蚘事䞀芧

    第1回


    第2回


    第3回


    第4回


    第5回

    #PolloAI #PolloRecast
    #AI動画 #AI動画制䜜 #生成AI #AIツヌル
    #AIツヌル怜蚌 #動画生成AI #動画線集
    #キャラクタヌ制䜜 #オリゞナルキャラクタヌ
    #パワヌリフティング #筋トレ #BIG3
    #創䜜掻動

     
     
    AIを䜿った画像・動画・音楜制䜜を楜しむ安達です。 䌁業PRやむベント参加、AIツヌルの怜蚌など、実際に詊しお気づいたこずを発信䞭 オリゞナル䜜品『THE HOLLOW PARADE』や、AMIのコラムなど、ゞャンルにずらわれず自由気たたに創䜜しおいたす😊

    あなたぞのおすすめ