メインコンテンツへスキップ
見出し画像

【Hunyuan3D×Opus 5.5】ロボット掃除機に乗った猫たちを夜の繁華街で走らせた⑦

    こんにちは。

    前回は、ロボット掃除機に乗った猫4匹を、昼の道路で走らせました。
    今回は夜にして、居酒屋や自販機が並ぶ繁華街を走らせてみたいと思います。

    猫は、ローカルの3D生成AI(Hunyuan3D)で作った同じ4匹です。
    Blenderの作業は、今回もClaude(Opus 5.5)に頼みました。

    画像
    前回の昼の道路。

    そして今回の結果がこれです。

    画像
    夜の繁華街を走る4匹。

    十字路も、お店の並ぶビルも、この動画を撮っているカメラも、Opus 5.5が作ったものです。
    今回も、私が伝えたのは短い文だけです。
    お店は、はりぼてですが結構いい感じに仕上がったと思います。

    ここからは、この結果に至るまでの過程です。

    今回は夜の繁華街

    猫とロボット掃除機、それにカメラ役の5台目は、前回のものをそのまま使います。
    変えるのは、走らせる場所と時間です。

    頼んだ文は、これだけです

    ロボット掃除機に乗ったネコが繁華街の道路を縦横無尽に移動している様にしたいです。ロボット掃除機の前方はロボット掃除機のライトで照らされている。カメラは前回同様ダミーの視点、ブレは少なくしてほしいです。

    夜なので、掃除機にライトを付けてほしいと頼みました。
    それから、前回の動画はカメラの揺れが少し気になっていたので、「ブレを少なく」も足しています。

    十字路を作る

    できあがった街を、物を少しずつ足しながら順に見ていきます。
    まずは、十字路です。
    車道の幅は5.4mで、路面のアスファルトは、前回と同じPoly Haven(https://polyhaven.com/)の画像を暗くして使っています。

    画像
    十字路と街灯。

    四つ角に、雑居ビルが並びます。
    ここでは、まだ暗い箱です。

    画像
    ビルの箱。

    箱の正面に、お店の絵が貼られます。
    1階に居酒屋やラーメン屋が入り、上の階に看板が並びます。

    画像
    お店の絵を貼ったビル。

    そこに、自販機と電柱、電線が足されます。
    路面は少し濡れたように光らせてあって、看板やお店の明かりが映り込みます。

    画像
    自販機、電柱と電線。

    最後に、猫たちが遠くへ行かないように、4方向とも交差点から6mのところをコーンとバリケードで通行止めにします。

    画像
    コーンとバリケードで通行止めに。
    画像
    掃除機と猫を置いたところ。
    画像
    Blenderの画面。

    掃除機にライトを付ける

    5台とも、バンパーの前に小さなライトが2つ付きました。
    そこから、前の路面を照らす光(スポットライト)が出ています。

    画像
    前のライトが路面を照らす。

    掃除機が向きを変えるたびに、照らす場所も一緒に動きます。
    昼の道路よりも、どちらへ走ろうとしているのかがわかりやすくなりました。

    ブレを少なくする

    カメラ役の5台目は、前回と同じく、ポールの先のカメラで4匹を追いかけます。
    前回の動画では、このカメラが細かく揺れていました。

    Opus 5.5は、次のように変えていました。

    • カメラの向きを、動画全体を見てから、前後のコマとなめらかにつながるように決める

    • ポールの細かい揺れを止めて、ゆっくり少しだけ動く程度にする

    • 5台目の加速と向きの変え方を、ゆるやかにする

    カメラの細かい揺れの大きさを数字で比べると、前回の約16分の1になっていました。
    ポールも36cmから46cmに伸ばして、手前の猫越しに奥の猫が見えるようにしてあります。

    画像
    カメラ役の5台目。ポールが少し伸びた。

    今回の4匹は、西の通りから交差点を通って、北の通りへ進むように走ります。
    前回と同じく、乱数の番号(シード)ごとに、全部のコマで4匹が画角に入るかを調べて、74番を使っていました。

    できた動画、でもお店がのっぺり

    1920×1080の420コマ(30fpsで14秒)で、レンダリングは約35分でした。

    画像
    最初にできた動画。

    4匹とも画面に入っていて、ライトも路面を照らしています。
    ただ、この時点ではお店の外観が描かれていなかったので、こう頼み直しました。

    お店はcodexで街のコンセプト画像を作成し、それを加工して使用してください。はりぼてで細かく作りこむ必要はありません。

    お店を1軒ずつ3Dで作り込むのではなく、絵を描いてビルの箱に貼るだけ(はりぼて)でよい、と伝えています。

    お店の絵を描いてもらって貼る

    Opus 5.5は、codexからGPTの画像生成(gpt-6-luna)を使って、まず低い位置から見た夜の繁華街の絵を1枚描かせていました。
    次に、その絵を見本にして、雑居ビル1棟ぶんの正面の絵を描かせています。
    正面からまっすぐ見た絵で、絵の端がそのままビルの端になるように頼んでいました。

    画像
    描いてもらったビルの正面の絵(一部)。

    1階にお店が入った絵が8種類(居酒屋、ラーメン、薬局、焼肉、シャッター、寿司、バー、コンビニ)、上の階だけの絵が2種類、自販機の正面が2種類です。
    最初の街の絵には実在の看板が入っていたので、お店の絵では、実在の名前やロゴを入れないように頼んでいました。

    この絵を、ビルの箱の正面に貼ります。
    高いビルは、上の階の絵を積んで高さを合わせています。
    さらに、1階の絵の色と明るさから、お店の前に明かりを置いて、路面にお店の光が落ちるようにしてありました。

    同じコマで比べると、こうなります。

    画像
    上が最初、下がお店の絵を貼ったもの。

    猫の動きは同じなのに、街の見え方がまったく違います。
    1コマを描く時間は約5秒で、ほとんど変わりませんでした。

    ループにして、BGMを付ける

    最後に、今回も作業用BGMの動画にします。
    14秒の動画は、猫たちが北の通りへ進んだところで終わるので、そのまま繰り返すと猫が別の場所へ飛んでしまいます。

    そこで、前回と同じく、14秒のあとに「つなぎの場面」を足してもらいました。
    4匹は交差点を通って出発点へ帰り、5台目はその後ろをついて行って、自分の出発点で止まります。
    最初の14秒はそのまま使い、続きの372コマだけを新しくレンダリングしています。

    画像
    真上から見た1周ぶんの経路。

    帰り始めるタイミングは、1台ずつ違います。
    Opus 5.5は、その組み合わせを1,050通り調べて、4匹がずっと画面に入っていて、待つ時間が短いものを選んでいました。

    画像
    足した場面。全員が出発点へ帰っていく。

    1周は792コマで、約26秒になりました。
    冒頭に載せた動画が、このループです。

    音は、今回もGoogle Flow Musicで作りました。
    頼んだ文は次のとおりです。

    Instrumental mellow late-night lo-fi loop for a work/study BGM video of four fat cats riding robot vacuums through a neon-lit Japanese downtown crossroads at night. Warm and a little playful, like a quiet walk past izakaya and vending machines: dusty Rhodes chords, soft vinyl crackle, laid-back boom-bap drums, warm round bass, a small muted-trumpet or city-pop style synth melody now and then. Around 80 BPM, no vocals, no sudden changes, no big build-up or drop. It must loop seamlessly: the ending should flow back into the beginning with the same chords and the same intensity, no fade-in and no fade-out.

    3分ほどの曲が2つ返ってきました。どちらも題名は「Midnight Drift」です。
    どちらも最後に約2秒の無音がありました。
    使ったのは1曲目で、無音を切ってから、前回と同じく曲の終わりと頭を6秒ずつ重ねてつないでいます。

    約26秒の映像と曲をそれぞれ繰り返して、10分の動画にしました。
    できた動画は、YouTubeに置きました。

    今日わかったこと2つ

    1. 場面を夜の繁華街に変えても、Opus 5.5は短い指示から、十字路とビル、掃除機のライト、揺れの少ないカメラまで作ることができた

    2. 3Dで作り込まなくても、AIに描かせたお店の絵をビルの箱に貼るだけで、街の見え方が大きく変わった

    おまけ: 昼のプール

    夜の街のあとに、昼の屋外プールでも走らせてみました。
    頼んだ文は「ネコのロボット掃除機の動画について、次は昼の屋外プールを舞台に作成することはできますか?」だけです。

    画像
    ホテルの屋外プール。

    ホテルの建物は、夜の街と同じく、codexで描かせた正面の絵を箱に貼ったはりぼてです。
    プールの水面のゆらぎや、水底に映る光の模様も付いていました。

    最初に選んだ番号では、白い猫がずっと灰色の猫の陰に隠れてしまったので、隠れる時間も調べて番号を選び直しています。
    こちらも、全員が出発点へ帰るつなぎの場面を足し、水面と浮き輪も1周で元に戻る動きにしてループにしました。

    画像
    プールサイドを走る4匹。

    こちらにも、Google Flow Musicで作った「Resort Roomba Cats」という曲を付けて、10分の動画にしました。


    【おすすめ記事】


     
     

    Pudu

     
     
    ローカルの画像生成を学び直しています。

    あなたへのおすすめ