メインコンテンツへスキップ
見出し画像

【初心者向け】Hunyuan VideoのI2V入門!必要なもの、モデル導入、プロンプト設定まで😊ComfyUIでImage-to-Videoを実現👍

    どうも皆さん!「今度飲みに行きましょう!」って言って、その後LINEを送るタイミングを永遠に逃し続ける、 葉加瀬あい(ハカセアイ) です!

    今回は、HunyuanVideoを使って、テキストや画像から高品質な動画を生成する方法について解説します!

    画像

    動画生成って、難しそうだし、時間もかかりそう…と思いますよね?高画質な動画を作ろうとすると、高性能なPCが必要だったり、設定が複雑だったり…。そもそも、どんなモデルを使えばいいのか分からない!とお悩みの方もいるのではないでしょうか?

    画像

    実は、HunyuanVideoとComfyUIを組み合わせることで、誰でも簡単に、しかも高品質な動画を作成できるんです!

    参考: https://tinyurl.com/28pd4n3g  

    画像

    さらに、今回は低スペックのPCでも動画生成を可能にする方法も紹介します!  

    画像

    ということで今回お話しする内容はこんな感じです!

    • ① HunyuanVideoとは?他のAI動画モデルとの違いや、得意・不得意なこと、基本的な使い方を徹底解説!

    • ② Image-to-Video機能は使える?LeapFusionやLTX Videoとの連携方法と、注意点を紹介!

    • ③ 低スペックPCでも大丈夫!GGUFモデルロードを使って、ComfyUIでHunyuanVideoを動かす方法を大公開!

    画像

    それで、私の メンバーシップ に入門されている方は、いつものように記事内容を 『動画』 で見ることができます!

    動画版は、こちらのURLからご覧ください!

    https://note.com/ai_hakase/n/nef287fd05043

    画像

    それから、Noteのメンバーシップ の入門者さんには 質問対応 なども行っていますので、感想や質問などありましたら、できれば Xのリプライ で教えてください!

    XのDM や Noteのコメント でも構いません🙆‍♀️

    画像

    ※ 質疑応答の際は 『NoteのID + 質問したいNote記事のURL』 を添えてください。

    https://x.com/ai_hakase_

    画像

    それでは、本日もよろしくお願いします!

    Hunyuan Videoとは?

    ということでちょっと知らない方もいるかもしれないんですけど、そもそも、Hunyuan Videoは、テキストによるプロンプトに基づいて動画を生成するAIモデルです。

    130億のパラメータを持つモデルを使用し、テキストの説明を24フレーム/秒の動画シーケンスに変換します⋯!

    最大1024x576ピクセルの解像度で動画を生成でき、VRAMの容量に応じて画質を調整できるとのことです。カメラアングルの調整、シーン構成の設定、照明の強度制御、背景の変更など、シーンを制御する機能も備わっているのはすごいですよね。

    Hunyuan Videoは、自然言語を効果的に処理し、シーンの説明に基づいて正確な照明、影、反射を生成します。

    ただ、今までテキストからしかこういった動画が生成できない(Image-to-Video機能がなかった)のが課題でした。  

    画像

    詳しくはこちらの記事で解説をしておりますので、よかったら見てみてください。

    https://note.com/ai_hakase/n/n6ad43ba02768?magazine_key=ma5812eb86d3b&from=membership-magazine

    画像

    Hunyuan Image-to-Video

    それで、今回ご紹介するHunyuan VideoのImage-to-Video機能に関してですが、公式のモデルやワークフローは現在のところまだ出ていないようです。

    そのため、ユーザーが既存の技術を組み合わせたり、企業が非公式にリリースしたものなど、サードパーティー製のワークフローやモデルを利用することになります。今回は、その中でも特に注目されているLeapFusionとLTX Videoをご紹介します。

    画像

    LeapFusionとLTX Videoの比較

    LeapFusionとLTX Videoのどちらが クリーンな動画を生成できるか 、という点についてですが、結論から言うと、 LeapFusionとHunyuan Videoを組み合わせた方が良い結果になる ようです。それぞれの特徴を見ていきましょう。

    画像

    1. LeapFusion + Hunyuan Video (i2v)

    LeapFusionは画像から滑らかな動画を生成でき、安定した品質が期待できます。Hunyuan Videoとの組み合わせでは、 クリーンな動画生成に優れている とのことです。

    参考: https://tinyurl.com/28pd4n3g  

    画像

    ただし、LeapFusionはパラメーターの調整が比較的必要になるようです。

    • このメソッドでは、拡散プロセス中に潜在情報を注入するために「LeapfusionHunyuanI2V Patcher」ノードを使用します。

    参考: https://is.gd/w6IBpX  

    画像
    • index、start_percent、end_percent、strengthなどのパラメータを調整して、潜在情報の注入とアーティファクトのバランスを制御できます。

    参考: https://da.gd/ZuRZKv  

    画像

    2. LTX Video + Hunyuan Video (i2v)

    LTX Videoは低フレームレートでの動作が不安定で、10秒程度の動画生成時にも安定せず、品質が劣る場合があるとのことです。

    Hunyuan VideoはI2V(画像から動画)に正式対応しておらず、実験的なワークフローが作られている段階です。

    最近の研究では、LTX VideoとHunyuan Videoを組み合わせた実験的I2Vワークフローが報告されていますが、Hunyuan VideoはI2Vへの正式サポートを持っていないため、 期待通りの結果を得ることが難しい状況 のようです。

    • このアプローチは、テキストから動画を生成するためにLTX VideoとHunyuan Videoを組み合わせます。

    • ユーザーの報告によると、LTXとHunyuanを並行して実行することは可能ですが、理想的ではありません。主な問題は、LTXが低フレームレートを上手く処理できないのに対し、Hunyuanは12-15 FPSでより良いパフォーマンスを発揮することです。  

    画像

    結論 : LeapFusionの方が安定感があり、クリーンな動画を生成する可能性が高いです。ComfyUIで適切なパラメータ調整を行いながらHunyuan Video (i2v)のみを使用する方が、LTX Videoと組み合わせるよりもクリーンで安定した動画出力が得られる可能性が高いでしょう。

    ということで、今回はLeapFusionの方をメインに解説をしていきたいと思います。

    画像

    Hunyuan Videoの制限事項

    Hunyuan Videoには、いくつかの制限事項がありますので、留意しておきましょう。

    Hunyuanは、複雑なキャラクターのインタラクション、詳細な顔の表情、テンポの速いアクションシーン、複数のキャラクターが登場するシーンで課題があるとのことです。

    動画の長さは16秒に制限されており、より長い動画を作成するには複数の生成が必要になります。また、フレームごとの編集、直接的なカメラパスの制御、オーディオの生成、リアルタイムのプレビュー調整にも制限があります。

    Hunyuan Videoは8GB VRAMのNVIDIA GPUでも動作すると報告されていますが、主にRTX4090(24GB VRAM)でテストされています。生成時間は848x480の73フレームの動画で、RTX4090で約4.5分、Google Colab(L4)で約11分です。

    今回の生成に関しては、 VRAM12GB以上のミドルスペックのPCをお持ちでない方 は、基本的にはGoogle Colab、Paperspace、Runpod、Mimic PCなどの クラウドサービスを利用する のがよろしいかと思います。

    画像

    ワークフローのご紹介

    私が作成したワークフローがあるので、基本的にはこれを使用して動画生成をやっていきたいと思います。

    Hunyuan Videoの動画生成でキャラクターを作る場合は、Reactorノードといってフェイススワップを行った方が顔の一貫性が保たれやすいのですが、今回はReactorノードの追加は特にやっていません。

    最近Reactorノードの開発コードが少し不安定なので、今後ご要望などがあれば追加していきたいと思います。

    画像

    Leapfusion Hunyuan Image-to-Videoとは?

    それでは、これについて少しだけ補足させていただきます!
    Leapfusion Hunyuan Image-to-Videoは、Hunyuan Videoを基に、Leapfusionという企業が開発した Image-to-Videoモデル です。

    画像

    Hunyuan Image-to-Videoは、従来のText-to-VideoモデルやVAEでは動作しないことがあるようです。
    そのため、 対応しているモデルを別途用意する 必要があります。

    モデルのダウンロード方法などにつきましては、後ほどご説明いたします!  

    画像

    ComfyUIのご紹介

    今回は、 ComfyUI という画面を使って画像の生成を行います。

    画像

    ComfyUIの詳しい使い方について

    もしComfyUIの使い方などがよくわからない場合は、こちらの記事で詳しく解説していますので、ぜひご覧ください!

    https://note.com/ai_hakase/n/n5486e3a98997

    画像

    クラウド環境でのComfyUI利用について

    先ほどもお話ししたように、今回は、VRAM 12GB程度のミドルスペックのPCで動作することを想定しています。
    ですが、高性能なPCをお持ちでない方でも大丈夫です! クラウド環境 で、しかも 無料 で使う方法をこちらの記事で解説していますので、ぜひチェックしてみてください!

    https://note.com/ai_hakase/n/ne08c4daf6971

    画像

    AI初心者さん向け情報のご案内

    AI初心者さん向けに 「AIはじめましてセット」 というマガジンリストも作成しています!
    「まず1から始めてみたい!」という方は、こちらの記事もチェックしていただけると嬉しいです!

    https://da.gd/5HAVN0

    画像

    ComfyUIの起動

    ComfyUIを、先ほどご紹介したURLなどを参考に、立ち上げておいてください!
    もしComfyUIをすでにダウンロード済みの方は、そのまま起動していただけると助かります…!

    画像

    ローカル環境でのComfyUI活用術:Stability Matrixのご紹介

    それで今回、私は Stability Matrix を使用してローカル環境、つまりご自身のPCからComfyUIを利用していきます。

    クラウド環境からComfyUIを使う方もいらっしゃるかもしれませんが、基本的には、皆様と画面の挙動などは同じかと思います。

    もし何かエラーなどが発生した場合は、Noteのメンバーシップにご加入いただいている方限定で質問対応を承っております。お気軽にXのDMやNoteのコメント欄でお知らせいただけると幸いです…!

    画像

    ComfyUIのバージョンについて

    ComfyUIは 最新版にアップデート しておいてください。

    本来はGit pullなどでバージョンを最新にする必要があるんですが、私の使っているStability Matrixの場合は、更新ボタンを押すだけで最新版にアップデートすることができます。ご自身の環境に合った方法でアップデートをしていただけますと幸いです。

    画像

    クラウド環境からの利用方法の場合の、ワンクリックでのアップデート方法はこちらに掲載されています。

    https://note.com/ai_hakase/n/ne08c4daf6971

    画像

    各種モデルのインストール

    それでは、まずはモデルのインストールの部分からやっていきましょう。モデルにつきましては、こちらのURLからダウンロードしてください。

    Videoモデル

    https://da.gd/bOO6

    画像

    ダウンロードしたモデルは、 ComfyUI/models/diffusion_models に配置してください。

    こちらのモデルは、こちらの Video Model Loader の部分で使用します。

    画像

    ちなみに、GGUFモデルが使えるのかどうかということについてですが、kijai様曰く、どうやらサポートする予定はないとのことです。詳細はこちらに載っています。

    https://tinyurl.com/25xd43r8

    画像

    Clipモデル

    次に、Clipモデルになります…!Clipモデルに関しましては、一応自動でダウンロードされるようになっているんですが、そのダウンロードに結構時間がかかります。あまり時間をかけたくない方は、こちらからダウンロードをお願いいたします。

    llava_llama3_fp8_scaled.safetensors を ComfyUI/models/text_encoders に配置してください。

    https://tinyurl.com/2cuygcky

    画像

    Clipモデルはこちらからもダウンロードできます。
    ComfyUI/models/text_encoders に配置してください。

    https://da.gd/mewD1q

    画像

    なお、こちらに関しても、こちらのノードで 使用 していきます。

    画像

    VAE の配置

    次に、VAE (Variational Autoencoder) です!こちらは以下のURLからダウンロードしてください。

    VAE: hunyuan_video_vae_bf16.safetensors をダウンロードしてください。

    https://tinyurl.com/28n4so6v

    画像

    ダウンロードしたファイルは、 ComfyUI/models/vae に配置をお願いします。

    こちらも後で、以下の部分で適用していきます。

    画像

    LoRA の配置

    そして、LoRA (Low-Rank Adaptation) です。Image to Image を行う際に必要になるので、こちらも忘れずにダウンロードしてください!

    https://is.gd/Rx7JKi

    画像

    ダウンロードしたファイルは、 ComfyUI/models/lora に配置してください。

    こちらも、後ほど適用していきますので⋯!

    画像

    ワークフローのインストールと適用方法

    ファイルの準備ができたら、早速ワークフローをインストールして、実際に動かしてみましょう!

    ワークフローのダウンロード

    今回のワークフローはこちらからダウンロードできます。