メむンコンテンツぞスキップ
芋出し画像

PLATEAU×BlenderのプレビズをHiggsfieldで本番化する――倧阪城の空撮颚動画を䜜った蚘録

実写颚の空撮映像は、AIにカメラワヌクたで任せなくおも䜜れる

倧阪城の呚囲をゆっくり旋回する。

本䞞入口付近から倩守ぞ近づき、屋根を芋䞊げるように䞊昇する。そしお、そのたた䞊空ぞ抜けお倧阪の街䞊みを芋枡す。

そんなドロヌン空撮のような映像を、囜土亀通省の3D郜垂モデル「PLATEAU」、Blender、Higgsfieldを組み合わせお制䜜した。

結論から蚀えば、この方法は十分に実甚的だった。

ただし、実景を忠実に再珟する技術ずしおは、ただ課題が残る。

今回の制䜜で分かったのは、カメラワヌクを3DCGで確定させ、その映像を生成AIで実写颚に仕䞊げるずいう圹割分担が有効だずいうこずだ。

映像生成AIに最初からすべおを任せるのではない。

カメラの動きは人間が蚭蚈し、生成AIには足りない景芳や質感を補っおもらう。そうするこずで、映像制䜜の自由床は倧きく広がる。

今回はその制䜜過皋ず、実際に発生した問題、そしお最終的な成果を蚘録しおおきたい。

なぜ、最初からHiggsfieldで生成しなかったのか

生成AIに「倧阪城をドロヌンで呚回する映像」ず指瀺すれば、それらしい映像は䜜れる。

しかし、それではカメラの軌道や構図を厳密に指定するこずが難しい。

倧阪城の倩守を画面のどこに配眮するか。どの高さから接近しお、どのタむミングで䞊昇するのか。最埌に倩守を画面の右偎ぞ移動させながら、どこたで匕くのか。

映像制䜜の珟堎では、こうしたカメラワヌクそのものが挔出になる。

だから今回は、先にBlenderでカメラワヌクを蚭蚈するこずにした。

䜿甚したのは、囜土亀通省が進めおいる3D郜垂モデル敎備・掻甚・オヌプンデヌタ化プロゞェクト「PLATEAU」の倧阪垂デヌタだ。

倧阪城を䞭心ずした建物の配眮をBlender䞊に再珟し、カメラを動かしおプレビズPrevisualizationを制䜜した。

プレビズずは、本番撮圱やCG制䜜に入る前に、カメラの動きや構図を確認するための映像である。

映画やCM、VFXの制䜜では以前から䜿われおいる手法だ。

ずころが、今回のPLATEAUデヌタには、そのたた実写映像ずしお䜿うには䞍足しおいる芁玠があった。

地圢や暹朚、堀などが十分に再珟されおいなかったのである。

建物は存圚するが、地面は簡略化され、公園の景芳も乏しい。構図やカメラの動きを確認するには䜿えるが、完成映像ずしおは物足りない。

そこで考えた。

建物ずカメラワヌクはBlenderで䜜り、足りない景芳だけHiggsfieldに生成しおもらえばいい。

これが今回の制䜜の出発点だった。

完成した映像ず、想定どおりにいかなかった郚分

Higgsfieldによっお、プレビズにはなかった景芳を補うこずができた。

堀の氎面、石垣、束や桜、芝生、園路、青空、呚蟺の街䞊み。

党䜓ずしお、実写のドロヌン空撮を思わせる映像に仕䞊がった。

最終成果物は1920×1080、24fpsの動画3本ず、それらを連結した玄23.7秒の映像だ。

ただし、すべおが狙いどおりだったわけではない。

初回の生成では、元のプレビズに存圚しおいた建物が、暹朚や土手ぞ眮き換わっおしたった。

生成AIは「背景を補完する」ずいう指瀺を受けおも、元の建物を絶察に倉曎しないずは限らない。

プロンプトを修正しお再生成したずころ、問題の建物は倧たかに埩元されたものの、倧阪城倩守の台座や石垣には圢状の倉化が残った。

もう䞀぀の問題は動画の長さだ。

24秒、576フレヌムの入力に察しお、生成された映像は569フレヌム。7フレヌム短くなった。

぀たり今回の成果物は、映像衚珟ずしおは成立しおいおも、厳密な建築物再珟やフレヌム単䜍の完党䞀臎を保蚌できるものではない。

ここは重芁なので、最初に明蚘しおおきたい。

撮圱珟堎からの䞀蚀で、制䜜䜜業を進められた

今回、もう䞀぀詊したかったこずがある。

それは、映像制䜜そのものだけでなく、AI゚ヌゞェントを䜿った制䜜ワヌクフロヌだ。

私は撮圱珟堎からスマヌトフォンで、普段䜿甚しおいるパヌ゜ナルAIアシスタントに䟝頌した。

「プレビズをHiggsfieldで本番化しおほしい」

実際には、アシスタントが䜜業指瀺曞を敎理し、SSH経由でMac Studio䞊のCodexぞ匕き枡した。

Codexは接続枈みのHiggsfieldプラグむンMCPを利甚し、既存アカりントで映像生成を実行。その埌、生成結果の怜蚌ずレポヌト䜜成たで進めた。

途䞭で私が確認したのは、既存アカりントの利甚を認めるずいう点だけだった。

すべおを人間が操䜜しなくおも、制䜜環境ず指瀺曞が敎っおいれば、耇数のAIを連携させお䜜業を進められる。

これは今埌の映像制䜜においお、かなり倧きな可胜性を感じた郚分でもある。

ただし、AIが自動的に䜜業を進められるこずず、映像の品質を保蚌できるこずは別問題だ。

どこたでをAIに任せ、どこから人間が確認すべきなのか。

今回の詊行は、その境界を考える機䌚にもなった。


ここからは、実際に䜿甚したPLATEAUデヌタ、Blenderの制䜜条件、Higgsfieldの生成モデルず蚭定、改善版プロンプト党文、960クレゞットの消費内蚳、そしお生成結果の怜蚌方法を具䜓的に公開する。

同じ制䜜手法を詊す際に、䜕を準備し、䜕を指瀺し、どこを確認すればよいのか。

成功した郚分だけでなく、倱敗や未達事項も含めお蚘録した。


第1章 PLATEAUの倧阪城デヌタからプレビズを制䜜する

 
 
映像配信゚ンゞニア映像クリ゚むタヌ。30幎以䞊で2000件超の珟堎経隓。専門孊校講垫・ハヌドオフ公匏アンバサダヌ。パンダスタゞオ新期運営。SKY FINDER代衚。 https://www.nobuyoshi.jp/

あなたぞのおすすめ