メインコンテンツへスキップ
見出し画像

【Hunyuan3D】猫を3Dにして回す①

    こんにちは。

    朝晩は少し涼しくなってきましたが、いかがお過ごしでしょうか。

    私は相変わらず無職で、時間だけはあります。
    今回は、1枚の絵の猫を3Dにして、ぐるっと回してみたいと思います。

    回したいのは、この猫です。

    画像
    AIに描いてもらった猫。ポテチを抱えている

    画像から3Dを作るAIを入れる

    使ったのはHunyuan3Dです。
    Tencentが公開している、画像1枚から3Dの形を作るAIです。
    モデルを落として自分のPCで動かすので、生成1回ごとの利用料はありません。

    • OS:Windows 11 Home

    • GPU:NVIDIA GeForce RTX 5060 Ti(VRAM 16GB)

    • メモリ:32GB

    • Python / PyTorch:3.11 / 2.11.0(CUDA 12.8版)

    Hunyuan3D-2.1:https://github.com/Tencent-Hunyuan/Hunyuan3D-2.1
    使ったのは「形を作る部分(hy3dshape)」だけです。
    モデル本体(hunyuan3d-dit-v2-1、fp16)は7.37GBです。

    Hunyuan3D-2.1を動かす環境は、以前に作ってあったものをそのまま使いました。
    RTX 50系のGPUなので、PyTorchはCUDA 12.8版です。

    実行には、公式のサンプルとほぼ同じスクリプトを使いました。
    時間・VRAM・面の数を記録する部分だけ足しています。

    猫をそのまま入れる

    まずは素直に、猫の画像をそのまま渡しました。
    設定は、Seed 20260920、Steps 30、octree 256です。
    Seedは「生成の初期状態を決める番号」、Stepsは「形を描き込む回数」です。
    octreeは「形を刻む格子の細かさ」で、大きいほど細かくなります。

    出てきたのは、箱でした。

    画像
    一辺1.99の、ほぼ立方体。

    生成は59.7秒、VRAMのピークは10,553MiBでした。

    元の画像は、白い背景の上に猫が乗っています。
    白い背景ごと、1つの四角い物として立体にしたのだと思います。
    次の節で背景を透明にしたら猫の形が出たので、原因は背景だったようです。

    背景を消して、毛並みの模様をぼかす

    先に、背景を透明にした画像を作りました。
    rembg(背景を消すツール)を使い、1254×1254の猫で4.6秒でした。

    画像
    市松模様のところが透明。ひげも残った。

    この画像をそのまま入れると、猫の形は出ました。
    ただ、毛の縞模様がそのまま細かい凹凸として彫られていて、表面がうろこのようになりました。
    あまり見ていて気持ちのいい見た目ではなかったので、渡す前に模様をぼかすことにしました。

    使ったのは、輪郭を残したままぼかすフィルタ(バイラテラルフィルタ)です。
    これを4回かけました。1254×1254で0.17秒です。

    画像
    左がぼかす前、右がぼかした後。目と輪郭は残して、毛の筋を薄くした。

    ぼかした猫を入れる

    変えたのは、渡す画像だけです。
    Seed、Steps、octreeは同じにしました。

    生成は59.2秒、VRAMのピークは8,270MiB、面の数は824,212でした。
    色はありません。使ったのが「形を作る部分」だけなので、灰色の置物になります。

    今度は、うろこのような表面にはなりませんでした。
    ただ、模様をぼかしたのに、表面にはまだ細かい毛羽立ちのような凹凸が残っていました。
    ここは、Blenderでならすことにしました。

    Blenderで表面をならす

    Blender(無料の3Dソフト)を入れました。
    公式サイトからインストーラーを落として、次へ次へで入れました。使ったのはBlender 5.0です。

    Blender:https://www.blender.org/download/
    この記事の画面は、日本語表示にしています。

    起動したら、最初からある立方体を選んで、Xキーで消しました。
    次に、ファイル → インポート → glTF 2.0 で、猫のGLB(形を保存したファイル)を読み込みました。

    猫を選んだ状態で、右側のプロパティにあるスパナのタブを開きました。
    「モディファイアーを追加」から、「リメッシュ」と「スムーズ」を足しました。

    画像
    右側に、足した2つが並んでいる。

    リメッシュは、形を細かい立方体で作り直す機能です。
    「ボクセル」を選び、ボクセルサイズを0.012mにしました。
    これより細かい凹凸は、作り直すときに消えます。

    スムーズは、表面をなでてならす機能です。
    係数は0.5のまま、リピートを20にしました。

    最後に、猫を右クリックして「スムーズシェード」を選びました。
    私はこの手順をスクリプトにして動かし、ならした猫をGLBに書き出しています。
    ならすのにかかったのは0.51秒で、面の数は82万から13万に減りました。

    値は、何通りか試して決めました。
    もっと強くならすと、うろこは消えますが、顔の鼻や口元まで丸くなってしまいました。
    0.012と20回は、顔が残る範囲で一番なめらかだった組み合わせです。

    画像
    ならした後の猫。

    4方向から見てみます。

    画像
    左から正面、左、後ろ、真下。

    後ろがある。しっぽもある。ポテチの袋もあります。
    1枚の絵に写っていない後ろ側を、AIが埋めています。

    ついでに2つ試した

    Seedは同じまま、条件を1つだけ変える実験をしました。
    どちらも、生成したあとに同じ設定でならしてから比べています。

    その1:octreeを256から384に上げる。Stepsは30のまま。

    画像
    左が256、右が384。

    面の数は824,212から1,884,758に増えました。2.3倍です。
    時間は59.2秒から117.5秒で、ほぼ2倍。GLBは14.8MBから33.9MBになりました。
    ならした後の見た目は、私にはほぼ同じに見えました。この猫では、256で足りています。

    その2:Stepsを30から15に減らす。octreeは256のまま。

    画像
    左が30、右が15。

    時間は59.2秒から42.3秒になりました。面の数は724,134です。
    全体の形は同じですが、15のほうは袋の上の端がギザギザになり、頭のでこぼこも少し増えました。

    回す

    猫を台に乗せて、台を1回転させる「ターンテーブル」を作りました。

    まず、追加 → エンプティ → 十字 で、目に見えない「台」を置きました。
    位置は猫の足元の真ん中です。私の猫では、XとYはほぼ0、Zは-0.947mでした。

    次に、猫をクリックし、Shiftを押しながら台をクリックして、Ctrl+P → オブジェクト。
    これで猫が台の子になり、台を回すと猫も一緒に回ります。

    台を選んで、フレーム1で「回転 Z」を0°、フレーム121で360°にしました。
    どちらも、欄にマウスを乗せてIキーを押すと、キーフレームが打たれて欄の色が変わります。
    そのままだと回り始めと終わりがゆっくりになるので、ドープシートで全選択して T → リニア にしました。

    終了フレームは120にしました。
    キーフレームは121に打って、書き出しは120で止めています。
    こうすると、最後のコマと最初のコマが同じ向きにならず、つなげて再生しても一瞬止まって見えません。

    カメラを追加して、猫の正面やや上から見下ろす位置に置きました。
    レンダーエンジンはWorkbench、解像度は1280×720、24fps、形式はPNGにして、アニメーションレンダーで120枚を書き出しました。

    画像
    フレーム1。カメラの視点で見たところ。
    画像
    フレーム60。回転Zが177°で、ほぼ後ろ向き。

    下のタイムラインに、キーフレームの菱形が1と121にあります。

    私はこの手順もPythonスクリプトにして、Blenderをコマンドラインで動かしました。
    レンダリングは、120フレームで9.3秒でした。1フレームあたり0.08秒です。

    画像
    45度ずつ8コマ。上段は左から右へ、続けて下段。

    動いているものはこちらです。

    画像
    回った。

    PNG120枚を1本の動画にするのは、Blenderのビデオシーケンサーでやりました。
    「Video Editing」ワークスペースで、PNGの連番と音声ファイルを並べ、MPEG-4(H.264)で書き出しています。
    これもスクリプトにしてあります。

    次回は、この猫の体に色を付けていこうと思います!

    今日わかったこと3つ

    1. 画像から3Dを作るAIは、VRAM 16GBの私のPCで動いた。この猫の形を作るのに約1分。ただし、背景を透明にしないと箱になった

    2. 絵の模様は、そのまま凹凸として彫られた。先に模様をぼかし、Blenderでならすと、うろこのような表面は消えた。そのかわり、顔の彫りも浅くなった

    3. 回すのは、キーフレーム2個でできた


    環境

    • PC:Windows 11 / RTX 5060 Ti 16GB / メモリ 32GB

    • 3D生成:Hunyuan3D-2.1(hy3dshape のみ、fp16、コミット 82920d6)。Python 3.11 / PyTorch 2.11.0+cu128

    • 前処理:rembg(isnet-anime)で背景を透明に → バイラテラルフィルタ(d=15, sigmaColor=50, sigmaSpace=15)を4回

    • 生成設定:Seed 20260920 / Steps 30(比較で15) / guidance 7.5 / octree 256(比較で384)

    • 実測(octree 256, Steps 30):モデル読み込み 20.6秒 / 生成 59.2秒 / VRAMピーク 8,270MiB / 824,212面

    • 実測(比較):octree 384: 117.5秒 / 8,896MiB。Steps 15: 42.3秒 / 8,270MiB

    • ならし:Blender 5.0.0 / リメッシュ(ボクセル 0.012m)→ スムーズ(係数 0.5、リピート 20)→ スムーズシェード

    • レンダリング:Blender 5.0.0 / Workbench / 1280×720 / 24fps / 120フレーム / 9.3秒

    【次の記事】


    【おすすめ記事】


     
     

    Pudu

     
     
    ローカルの画像生成を学び直しています。

    あなたへのおすすめ