
📢動画編集の裏技🌟ComfyUI×MMAudioで動画に音声をラクラク追加🎵ナレーションもBGMも思いのまま!🎉最新AI技術を使いこなして、動画のクオリティをアップさせよう💖
どうも皆さん!「すぐやる課」に所属したいのに、入課手続きを後回しにしてしまうという、矛盾のスパイラルに陥りがち、葉加瀬あい(ハカセアイ) です!
今回は、ComfyUIでMMAudioを使って、動画に自動で音声を付ける方法について解説します!
— 葉加瀬あい(AI-Hakase)🎈 最新AIを解説中・:*:・。 (@ai_hakase_) January 4, 2025
動画に音声を付けるのって、結構面倒ですよね?ナレーションを録音したり、効果音を探したり、動画と音声のタイミングを合わせたり…。「もっと簡単に、動画にピッタリな音声を付けられたらいいのに…」と思いませんか?
実は、MMAudioとComfyUIを組み合わせることで、その悩みを解決できるんです!動画を選択するだけで、その内容に合った音声を自動で付けてくれる、魔法のような技術なんです!

ということで今回お話しする内容はこんな感じです!
① 動画を選ぶだけでOK!MMAudioの基本的な使い方と、その驚きの性能を徹底解説!
② モデルのダウンロード方法がわからない?大丈夫!必要なファイルを、わかりやすい手順でサクッとダウンロードする方法を教えます!
③ ワークフローって何?どうやって使うの?そんな疑問もスッキリ解決!ComfyUIでMMAudioを使いこなすための、実践的なワークフローの使い方を伝授します!

それで、私の メンバーシップ に入門されている方は、いつものように記事内容を 『動画』 で見ることができます!
動画版は、こちらのURLからご覧ください!
https://note.com/ai_hakase/n/n75ab6c171dc1

それから、Noteのメンバーシップ の入門者さんには 質問対応 なども行っていますので、感想や質問などありましたら、できれば Xのリプライ で教えてください!
XのDM や Noteのコメント でも構いません🙆♀️

※ 質疑応答の際は 『NoteのID + 質問したいNote記事のURL』 を添えてください。

それでは、本日もよろしくお願いします!
話題の技術!MMAudioをComfyUIで使用する方法
ということで、今回は MMAudioのComfyUIでの使用方法 について解説いたします⋯!
動画を選択すると、その内容に合った音声を自動でつけてくれるという、すごい技術になります。
ナレーションや音声とビデオコンテンツが 自然に一致 するようになるのが、大きな特徴です。
やっぱり、最新技術って素晴らしいです⋯!
— 葉加瀬あい(AI-Hakase)🎈 最新AIを解説中・:*:・。 (@ai_hakase_) January 4, 2025
関連記事のご紹介
ちなみにこちらの記事の続きとなっておりますので、あわせてご覧ください。
また、MMAudioの概要につきましては、
こちらの記事で解説していますので、よかったら見てください!
MMAudio modelsのダウンロード方法**
それではComfyUIの実行に必要なモデルをダウンロードしていきましょう。モデル自体は軽量なので安心してください!
ComfyUI内のパス**
それでは、まずはModelsのダウンロードについてです。これからご紹介するURLのモデルを、ComfyUI内に作成したフォルダにダウンロードしていく形となります。
パスは、こちらのような形になります。
`ComfyUI\models\mmaudio`

ダウンロードするモデル**
一つ目のURLはこちらになります。
mmaudio_large_44k_v2_fp16.safetensors

さらに必要なモデルをダウンロードしましょう!
もう一つ必要なモデルがあるんです!
それがこちら、 mmaudio_synchformer_fp16.safetensors です!

VAEも忘れずにインストール
それから、もう一つ! VAE もインストールする必要があるんです!
「むむ、VAEって一体何なの⋯?」と思われた方もいらっしゃるかもしれません!
VAEとは、 変分オートエンコーダ(Variational Autoencoder) の略で、データを効率よく表現するための技術なんです。
少々難しい話ではありますが、今回は細かいことは気にせずに、必要なファイルをダウンロードしてしまいましょう!
そのファイルというのが…こちらになります!
mmaudio_vae_44k_fp16.safetensors

CLIPモデルをダウンロードする**
それと、 CLIPモデル のダウンロードはこちらから行ってくださいませ。
こちらはCLIPモデルのフォルダではなく、先ほどご案内いたしました MM-Audioのフォルダ で大丈夫です。
`ComfyUI\models\mmaudio`
`apple_DFN5B-CLIP-ViT-H-14-384_fp16.safetensors` という名前のファイルをダウンロードしてください!

他のCLIPモデルをダウンロードする**
それと、あとは他のCLIPモデルもダウンロードする必要があります⋯!
先ほどのモデルと同様に、こちらのMM-Audioのディレクトリの配下に Appleというフォルダ を作って、そこに格納してください。パスとしてはこのようになります。
`ComfyUI\models\mmaudio\apple`

CLIPモデルのダウンロード方法
それでは、CLIPモデルのダウンロードURLはこちらになります⋯!
こちらのURLにアクセスいただき、赤線が引いてあるもの以外をダウンロードして、先ほどのフォルダに格納してください!

ターミナルから直接ダウンロードする方法
ターミナルのコマンドを使用できる方は、こちらのコマンドでもインストールが可能です⋯!
git clone https://huggingface.co/apple/DFN5B-CLIP-ViT-H-14-378
ダウンロード後のファイル構成
おそらく、ダウンロードすると以下のようなパスにファイルが格納されると思います⋯!
`ComfyUI\models\mmaudio\apple\DFN5B-CLIP-ViT-H-14-378`
こちらで、 ファイルのダウンロードは完了 です。

BigVGANのインストール方法
それと、もう一つ BigVGAN というものをインストールする必要があります⋯!
- #副業
- #AI
- #生成AI
- #ChatGPT
- #AI活用
- #マーケティング
- #AIとやってみた
- #SNS
- #AIイラスト
- #研究
- #テクノロジー
- #画像生成AI
- #動画編集
- #クリエイティブ
- #イノベーション
- #在宅
- #nvidia
- #マネタイズ
- #動画制作
- #AIツール
- #StableDiffusion
- #映像制作
- #ディープラーニング
- #ComfyUI
- #AI作曲
- #オープンソース
- #最新技術
- #ワークフロー
- #動画クリエイター
- #コマンド
- #AI技術
- #ターミナル
- #AIモデル
- #音声合成
- #HuggingFace
- #最新AI
- #AIクリエイティブ
- #AI音声
- #AiTuber
- #先端技術
- #colab
- #AIミュージック
- #葉加瀬あい
- #AIの可能性
- #ハカセアイ
- #生成AIツール
- #ComfyUIワークフロー
- #設定方法
- #カスタムノード
- #AIナレーション
- #自動音声
- #ComfyUI使い方
- #ビデオ編集
- #コンフィUI
- #aiビデオ
- #safetensors
- #機械学習モデル
- #インストール方法
- #hugging
- #ComfyUI設定
- #MMAudio
- #CLIPモデル
- #音声付き動画
- #コンフィーUI
- #AIサウンド
- #モデルダウンロード
- #ComfyUIノード
- #コンフィUI使い方
- #コンフィUIワークフロー
- #gitclone
- #自動ナレーション
- #ComfyUIインストール
- #オーディオ生成
- #ハギングフェース
- #サウンド生成
- #自動BGM
- #BigVGAN
- #safetensorsファイル
- #HuggingFaceハブ
- #コンフィーUI使い方
- #コンフィーUIワークフロー
- #コンフィUI設定
- #コンフィーUI設定
- #コンフィUIインストール
- #コンフィーUIインストール
- #動画に音声
- #ハッギングフェイス
- #ハッギングフェース