メインコンテンツへスキップ
見出し画像

📢動画編集の裏技🌟ComfyUI×MMAudioで動画に音声をラクラク追加🎵ナレーションもBGMも思いのまま!🎉最新AI技術を使いこなして、動画のクオリティをアップさせよう💖

    どうも皆さん!「すぐやる課」に所属したいのに、入課手続きを後回しにしてしまうという、矛盾のスパイラルに陥りがち、葉加瀬あい(ハカセアイ) です!

    今回は、ComfyUIでMMAudioを使って、動画に自動で音声を付ける方法について解説します!

    pic.twitter.com/1viQliSiDK

    — 葉加瀬あい(AI-Hakase)🎈 最新AIを解説中・:*:・。 (@ai_hakase_) January 4, 2025

    動画に音声を付けるのって、結構面倒ですよね?ナレーションを録音したり、効果音を探したり、動画と音声のタイミングを合わせたり…。「もっと簡単に、動画にピッタリな音声を付けられたらいいのに…」と思いませんか?

    実は、MMAudioとComfyUIを組み合わせることで、その悩みを解決できるんです!動画を選択するだけで、その内容に合った音声を自動で付けてくれる、魔法のような技術なんです!

    画像

    ということで今回お話しする内容はこんな感じです!

    • ① 動画を選ぶだけでOK!MMAudioの基本的な使い方と、その驚きの性能を徹底解説!

    • ② モデルのダウンロード方法がわからない?大丈夫!必要なファイルを、わかりやすい手順でサクッとダウンロードする方法を教えます!

    • ③ ワークフローって何?どうやって使うの?そんな疑問もスッキリ解決!ComfyUIでMMAudioを使いこなすための、実践的なワークフローの使い方を伝授します!

    画像

    それで、私の メンバーシップ に入門されている方は、いつものように記事内容を 『動画』 で見ることができます!

    動画版は、こちらのURLからご覧ください!

    https://note.com/ai_hakase/n/n75ab6c171dc1

    画像

    それから、Noteのメンバーシップ の入門者さんには 質問対応 なども行っていますので、感想や質問などありましたら、できれば Xのリプライ で教えてください!

    XのDM や Noteのコメント でも構いません🙆‍♀️

    画像

    ※ 質疑応答の際は 『NoteのID + 質問したいNote記事のURL』 を添えてください。

    https://x.com/ai_hakase_

    画像

    それでは、本日もよろしくお願いします!

    話題の技術!MMAudioをComfyUIで使用する方法

    ということで、今回は MMAudioのComfyUIでの使用方法 について解説いたします⋯!

    動画を選択すると、その内容に合った音声を自動でつけてくれるという、すごい技術になります。

    ナレーションや音声とビデオコンテンツが 自然に一致 するようになるのが、大きな特徴です。

    やっぱり、最新技術って素晴らしいです⋯!

    pic.twitter.com/1viQliSiDK

    — 葉加瀬あい(AI-Hakase)🎈 最新AIを解説中・:*:・。 (@ai_hakase_) January 4, 2025

    関連記事のご紹介

    ちなみにこちらの記事の続きとなっておりますので、あわせてご覧ください。

    また、MMAudioの概要につきましては、
    こちらの記事で解説していますので、よかったら見てください!


    MMAudio modelsのダウンロード方法**

    それではComfyUIの実行に必要なモデルをダウンロードしていきましょう。モデル自体は軽量なので安心してください!

    ComfyUI内のパス**

    それでは、まずはModelsのダウンロードについてです。これからご紹介するURLのモデルを、ComfyUI内に作成したフォルダにダウンロードしていく形となります。

    パスは、こちらのような形になります。

    `ComfyUI\models\mmaudio`

    画像

    ダウンロードするモデル**

    一つ目のURLはこちらになります。

    mmaudio_large_44k_v2_fp16.safetensors

    https://tinyurl.com/26ubjrkr

    画像

    さらに必要なモデルをダウンロードしましょう!

    もう一つ必要なモデルがあるんです!

    それがこちら、 mmaudio_synchformer_fp16.safetensors です!

    https://is.gd/hqim9z

    画像

    VAEも忘れずにインストール

    それから、もう一つ! VAE もインストールする必要があるんです!

    「むむ、VAEって一体何なの⋯?」と思われた方もいらっしゃるかもしれません!
    VAEとは、 変分オートエンコーダ(Variational Autoencoder) の略で、データを効率よく表現するための技術なんです。

    少々難しい話ではありますが、今回は細かいことは気にせずに、必要なファイルをダウンロードしてしまいましょう!

    そのファイルというのが…こちらになります!

    mmaudio_vae_44k_fp16.safetensors

    https://da.gd/840k

    画像

    CLIPモデルをダウンロードする**

    それと、 CLIPモデル のダウンロードはこちらから行ってくださいませ。

    こちらはCLIPモデルのフォルダではなく、先ほどご案内いたしました MM-Audioのフォルダ で大丈夫です。

    `ComfyUI\models\mmaudio`

    `apple_DFN5B-CLIP-ViT-H-14-384_fp16.safetensors` という名前のファイルをダウンロードしてください!

    https://da.gd/0FEcvu

    画像

    他のCLIPモデルをダウンロードする**

    それと、あとは他のCLIPモデルもダウンロードする必要があります⋯!

    先ほどのモデルと同様に、こちらのMM-Audioのディレクトリの配下に Appleというフォルダ を作って、そこに格納してください。パスとしてはこのようになります。

    `ComfyUI\models\mmaudio\apple`

    画像

    CLIPモデルのダウンロード方法

    それでは、CLIPモデルのダウンロードURLはこちらになります⋯!

    こちらのURLにアクセスいただき、赤線が引いてあるもの以外をダウンロードして、先ほどのフォルダに格納してください!

    https://da.gd/iE4B7

    画像

    ターミナルから直接ダウンロードする方法

    ターミナルのコマンドを使用できる方は、こちらのコマンドでもインストールが可能です⋯!

    git clone https://huggingface.co/apple/DFN5B-CLIP-ViT-H-14-378
    画像

    ダウンロード後のファイル構成

    おそらく、ダウンロードすると以下のようなパスにファイルが格納されると思います⋯!

    `ComfyUI\models\mmaudio\apple\DFN5B-CLIP-ViT-H-14-378`

    こちらで、 ファイルのダウンロードは完了 です。

    画像

    BigVGANのインストール方法

    それと、もう一つ BigVGAN というものをインストールする必要があります⋯!