メインコンテンツへスキップ
見出し画像

【Hunyuan3D×Opus 5.5】香箱座りの猫軍団をロボット掃除機に乗せて走らせた⑤

    こんにちは。

    前回は、香箱座りの猫を4匹作って、和室に並べました
    今回は、この香箱座りの猫軍団をロボット掃除機に乗せて走らせてみたいと思います!

    猫は、ローカルの3D生成AI(Hunyuan3D)で作った前回の4匹をそのまま使います。
    Blenderの作業は、Claude(Opus 5.5)に頼みました。

    画像
    前回の4匹。

    そして今回の結果がこれです。

    画像
    ロボット掃除機に乗って走る4匹。

    部屋も、ロボット掃除機も、4匹の動きも、Opus 5.5が作ったものです。
    私はほとんど手を出していないのに、ここまでのものが仕上がりました。
    Opus 5.5、すごいです…。

    ここからは、この結果に至るまでの過程です。

    猫とBlenderを分けて作る

    猫の形は、Hunyuan3Dで私のPCの中で作ったものです。色は、AIに描いてもらった絵を貼っています。
    ここまでは前回までにできているので、今回は新しい生成をしていません。

    残りの、ロボット掃除機・部屋・動き・カメラ・レンダリングは、ぜんぶBlenderの中の作業です。
    私はBlenderを自分では操作せず、やりたいことを文章でOpus 5.5に頼んでみようと思います。
    Opus 5.5がBlenderを動かすスクリプトを書いて実行し、できた絵を私が見て、気になるところをまた文章で伝えます。

    最初に頼んだ文は、これだけです。

    前回出力した猫たちをロボット掃除機の上にのせて縦横無尽に移動する動画をblenderで作成したいです。可能ですか?なるべくリアルな質感が良いです。

    ロボット掃除機を作る

    最初にできてきたのは、ロボット掃除機でした。

    画像
    できたロボット掃除機。

    既製の3Dモデルを持ってきたのではなく、円柱と箱を組み合わせて作ってあります。
    本体、つやのある天板、前半分を囲むバンパー、緑のランプ、床の近くで回るサイドブラシ、底からのぞく車輪です。
    直径は35cm、天板の高さは床から約9cmでした。色は白と黒の2種類で、2台ずつあります。

    ここに猫を乗せます。猫は、高さが22cmになるように縮めてありました。

    画像
    茶トラを乗せたところ。

    香箱座りは底が平らなので、置いただけで乗っているように見えます。
    前足もしっぽも体の下にたたまれているので、はみ出して困るところがありませんでした。

    リビングを作る

    走らせる場所は、家の中にしました。フローリングのリビングです。
    広さは5.2m×4.6mで、天井の高さは2.6mです。

    画像
    床と壁。左の壁に窓の光がある。

    床と壁は1枚の板です。木目と塗り壁の質感は、Poly Haven(https://polyhaven.com/)の画像を貼っています。
    部屋の中の明るさも、Poly Havenにある室内の写真(HDRI)から取り、左の壁に窓の明かりを1つ足してありました。

    そこに、ソファとローテーブルと棚が置かれました。

    画像
    ソファ、ローテーブル、棚。

    どれも、角を丸めた箱の組み合わせです。
    ローテーブルは高さ42cmで、猫を乗せた掃除機(約31cm)がそのまま下をくぐれる高さになっています。

    最後に、ラグと観葉植物とフロアランプです。

    画像
    ラグ、観葉植物、フロアランプ。

    ここまでで、三角形の数は約15,000でした。
    掃除機を4台置くと約49,000、猫を4匹乗せると約33万になります。
    今回も、部屋より猫のほうがずっと重い、ということになります。

    画像
    猫を乗せた4台を置いたところ。
    画像
    Blenderの画面。手前の壁は、表示だけ隠してある。

    走らせ方を決める

    動きは、1台ずつ手で付けたものではありません。
    Opus 5.5は、ロボット掃除機らしい決まりを作って、その決まりで4台を走らせていました。

    • まっすぐ進む(速さは最大で秒速46cm)

    • 壁や家具、ほかの掃除機の手前で、速度を落として止まる

    • その場で向きを変える。1.4m先まで空いている方向を優先する

    • 少し止まってから、また進む

    どちらへ向きを変えるかは、乱数で決まります。
    乱数の番号(シード)を変えると、4台の経路がまるごと変わります。
    番号をいくつも試して、4台とも部屋を広く動く番号を選ぶ、というやり方でした。

    最初は、あまり動かなかった

    最初の試し出しは、こうでした。

    画像
    最初の試し出し。左が0秒、右が10秒。

    走ってはいるのですが、10秒たっても、4台とも最初の場所の近くにいます。
    1台が10秒のあいだに進むのは、2〜3区間だけでした。
    猫の揺れも大きく、止まるたびに最大で9度ほど傾いて、ゼリーのように見えました。

    直したのは、速さと、向きを変える決まりと、猫の揺れです。
    揺れは3度ほどに抑えられました。カメラも、もっと低く近い位置になりました。

    画像
    真上から見た10秒間の経路。左が最初、右が直したあと。

    直したあとは、4台が部屋の端から端まで走るようになりました。

    猫がチカチカした

    動画にして見ると、猫の毛がコマごとにチカチカしていました。

    画像
    白猫の連続する4コマ。毛の縞の濃さが、コマごとに変わっている。

    猫は1匹が約71万面あります。私は、面が多すぎるせいだと思って、そう伝えました。
    Opus 5.5は、すぐに面を減らすのではなく、先に原因を測っていました。
    カメラを茶トラの掃除機に固定し、猫の揺れも止めて30コマを描き、猫のところの「コマとコマのあいだの細かい変化」を数字にします。

    • 条件:チカチカの数字

    • 元の設定:1.153

    • 面を10分の1(約7.1万面)に:1.153

    • 毛の細かい凹凸をやめる:1.086

    • さらに、ノイズ除去の方式を変える:0.855

    • 512サンプルで描いたもの(基準):0.689

    面を10分の1に減らしても、数字はまったく変わりませんでした。
    原因は、毛らしく見せるために足してあった、画面の1点より細かい凹凸でした。
    少ないサンプル数で描いた絵のざらつきを消す処理(デノイズ)が、その凹凸をコマごとに違う形に直していた、ということです。
    凹凸をやめて、デノイズの方式をOptiXからOpenImageDenoiseに変えると、基準との差は約3分の1になりました。

    面の数は原因ではありませんでしたが、10分の1にしても見た目が変わらなかったので、減らしたまま使っています。

    画像
    左が約71万面、右が約7.1万面。

    猫が白っぽかった

    チカチカが減ると、次は猫の表面が気になりました。
    全体に白い膜がかかったようで、起毛のフィギュアのように見えます。

    画像
    左が直す前、右が直したあと。

    これは、毛らしく見せるために足してあった「シーン」(布のような光沢)が原因でした。
    光沢の色が白だったので、猫ぜんたいに白い起毛が乗っていたことになります。
    シーンをやめると、貼った絵の色がそのまま出るようになりました。

    猫の頭にカメラを載せる

    ここまでは、部屋を正面から見る固定のカメラでした。
    もう1つ、茶トラの頭に小さなカメラを載せたような視点も作ってもらいました。

    画像
    茶トラの頭のカメラから見た10秒間。

    レンズは魚眼(18mm、左右に約120度)で、掃除機のモーターの細かい振動も入っています。
    カメラは猫に付いているので、猫が傾けば画面も一緒に傾きます。。

    最初は、画面の下の両隅に猫の耳が大きく映っていました。
    カメラを耳より少し前、少し上に動かしてもらって、耳が映らないようにしています。

    ループにして、BGMを付ける

    最後に、前回の和室と同じように、ループする動画にします。
    ただ、掃除機は好きな方向へ走っていくので、そのままでは最後のコマが最初のコマにつながりません。

    そこで、決まりを1つ足してもらいました。
    残り時間が少なくなったら、出発した場所へまっすぐ帰り、最初と同じ向きで止まる、という決まりです。
    帰り道が家具でふさがっているときや、間に合わないときは、その番号は使いません。
    乱数の番号を600通り試すと、4台とも20秒で帰ってこられたのは457通りでした。
    その中から、4台がいちばん広く動いていた581番を選びました。

    画像
    真上から見た20秒間の経路。4台とも出発点に戻る。
    画像
    20秒のループから8コマ。

    600コマ(30fpsで20秒)のレンダリングは、1920×1080、サンプル数24で約16分でした。1コマあたり約1.6秒です。
    最初のころは、サンプル数96で1コマに約5秒かかっていました。サンプル数を24に、光の跳ね返りの回数を8から4に減らしても、並べて見分けがつかなかったので、こちらにしています。

    画像
    ループにしたもの。

    音は、今回もGoogle Flow Musicで作りました。
    頼んだ文は次のとおりです。

    Instrumental light, playful lo-fi loop for a work/study BGM video of four fat cats riding robot vacuums around a sunny living room. Cozy, warm and a little comical: soft electric piano chords, mellow nylon guitar, brushed drums with a gentle shuffle, round upright bass, small glockenspiel sparkles now and then. Around 80 BPM, no vocals, no sudden changes, no big build-up or drop. It must loop seamlessly: the ending should flow back into the beginning with the same chords and the same intensity, no fade-in and no fade-out.

    3分前後の曲が2つ返ってきました。「Fat Cats on Roomba Rovers」と「Roomba Rodeo」です。
    1曲目は最後に無音がなく、2曲目は最後に約2.7秒の無音がありました。
    使ったのは1曲目で、前回と同じく、曲の終わりと頭を6秒ずつ重ねてつないでいます。

    20秒の映像と曲をそれぞれ繰り返して、10分の動画にしました。
    できた動画は、YouTubeに置きました。

    今日わかったこと2つ

    1. 多少の人間の確認は必要だったものの、Opus 5.5は最初の短い指示から、ここまでのクオリティの3Dの動画を作ることができた

    2. 細かい凹凸とノイズ除去の組み合わせでオブジェクトがチカチカすることがある。

    【次の記事】


    【おすすめ記事】


     
     

    Pudu

     
     
    ローカルの画像生成を学び直しています。

    あなたへのおすすめ