メインコンテンツへスキップ
見出し画像

工夫で顔を守れるのか? MINIMAX H3 実験

    ※画像は全て実在する人物、場所ではありません。
    AIで生成された架空のものです。


    はじめに

     MINIMAX H3で動画を作っていて、人物の顔のディテール維持に苦労していませんか?
    僕もかなり苦労しています。

    人物をなるべく遠景からの構図にしない。
    1.2M以上の高解像度で生成する。

    いろいろな方法を考えましたが、僕の環境では、
    それだけでは根本的な解決にはなりませんでした。

    そんな中で、試行錯誤しているうちに、比較的顔のディテールによる違和感を軽減できるような工夫が見つかりました。
    今回は、その方法を実際に試した結果を書いてみたいと思います。
     

    テスト環境

    · RAM 16GB
    · RTX3060 8GB OC
    · 4step Turbo LoRA

    1段目のサンプラー

    0.3Mピクセルで生成
    5step
    そのノイズ除去後のLatentから、
    Mamad8氏のLatent Upscaler ×2
    h3_clean_latent_upscaler_v1_mamad8.safetensors
    を使用。
    その後、
    Tr1dae氏のMinimax Latent Sharpen
    · amount 0.25
    · radius 1.1
    を使用しました。

    2段目のサンプラー

    · 2step
    · Denoise 0.5
    という設定です。

    大まかにすると、
    0.3MでH3生成
    ↓
    Latent Upscale ×2
    ↓
    Latent Sharpen
    ↓
    もう一度少しだけサンプリング
    ↓
    768P

    という流れです。

    実際に生成してみた

     今回、7秒の動画を768Pまでアップスケールしました。
    生成時間は、
    11分45秒。
    かなり時間がかかります。

    そして、ここで重要なのは、

    今回の目的が

    画像をくっきりシャープにする、ことではない

    ということです。

    実際に生成された映像は、全体的に少しピントが甘く、
    やさしいタッチになっているような印象でした。

    ただ、それが今回の目的には悪くありませんでした。
    遠景の人物なので、そもそも顔そのものが大きく描写されません。
    そのため、顔の細かなディテールが多少崩れていても、
    アップで見たときほど違和感が目立たないように感じました。

    つまり、

    顔を綺麗にするというより、顔のディテール崩れによる違和感を軽減する。


    今回はこちらを狙っています。

    4:3のアスペクト比0.3Mと768Pを比較

    0.3Mピクセルで生成した映像

    画像


    Latent Upscale後、768P


    画像

     比較してみると、768Pにしたことで単純に
    「ものすごくシャープになった」という感じではありません。
    むしろ、少しピントが甘く、やさしい描写
    になっています。

    しかし、遠景の人物を見る場合には、このくらいの描写のほうが
    顔の細かな崩れが気になりにくいように感じました。



    試行錯誤の中で気づいたこと

     今回の実験では、画質以外にもかなり苦労しました。
    H3を使っていると、処理が止まったように見える状態になることがあります。
    GPU使用率は100%。
    ところが、ファンの回転は下がってくる。
    VRAMを確認すると、まだ余裕があるように見える。
    それなのに、ログには明確なエラーが出ない。
    処理が動いているのか、止まっているのか
    分からないような状態になります。

    最初はアップスケール後の重い処理だから起きているのだと思っていました。
    ところが、試行錯誤していく中で、
    アップスケールをしていない通常のH3生成でも、
    同じような状態になることが分かりました。

    そして不思議なのが、完全に止まっているわけでもないことです。
    そのまま数十分待っていると、処理が進むことがあります。

    GPUは動いている。
    でも、普通に処理しているときとは明らかに様子が違う。
    このあたりは、専門的な原因までは分かりません。

    ただ、僕の環境では、アップスケール後の解像度や動画の再生時間、
    そしてその時の処理負荷など、いくつかの条件
    が重なっているのではないかと考えています。



    長い動画では、さらに難しくなる

     今回のようなLatent Upscaleは、短い動画なら何とか処理できても、
    動画が長くなるほど負荷が大きくなります。

    解像度を上げたLatentを、さらにもう一度H3のサンプラーへ通す必要があるためです。

    そのため、
    「768Pにできるなら、もっと長い動画も同じように作れる」
    とは限りません。

    僕自身、動画の長さを変えながら何度も試しました。
    同じような設定でも、通るときと、処理が非常に重くなるときがあります。
    このあたりも、今回の実験で分かったことの一つでした。
     


    今回の実験で感じたこと

     今回の方法は、

    顔を完全に守る方法ではありません。


    また、顔のディテールを劇的に綺麗にする方法でもありません。
    僕が感じたのは、
    「少しやさしい描写にすることで、顔のディテール崩れによる違和感を
    目立たせにくくする」

    という使い方です。

    特に遠景の人物では、顔を大きく見せる必要がないため、
    この方法との相性が良いのかもしれません。

    ただし、シーンによって結果はかなり変わります。
    動きの激しい場面や、人物が画面を斜め方向へ移動するような場面では、
    同じようにうまくいかないこともあります。



    画像


    おわりに

     今回の結果から見えることは、
    遠景なら、ピントが多少甘くても違和感が軽減されるところを狙えるのではないか
    ということでした。

    絶妙なバランスで成り立っている設定なので、
    制作する映像のシーンによっては、
    顔のディテールを守れないこともかなりあります。

     全体的に少しピントが甘いので、
    まだ設定には余白があるのかもしれません。

    それでも、H3で人物動画を作っていて、
    「顔のディテールがどうしても気になる」
    というときに、こういう方向から考えてみるのも
    一つの方法かもしれません。


    今回は、僕自身の試行錯誤の中で、
    「顔を綺麗にする」のではなく、「顔の崩れを目立たせにくくする」
    という方法を試してみました。


    なお、今回の結果は、執筆時点(R8.9.7 12:30)のComfyUI、各種ノード、Pythonプログラム、PC環境など、さまざまな条件が重なったことで、
    私の環境では実現できた結果です。


    同じ設定にすれば、同じ結果になるとは限りません。
    あくまで一つの実験結果、体験談として
    参考にしていただければと思います。




     
     

    Minase

     
     
    AI(Gemini)を主にパートナーとして会話利用している クリエイターです。AIに関する話を主に投稿します。 現在SUNO楽曲投稿が多めです。

    あなたへのおすすめ