メインコンテンツへスキップ
見出し画像

Ollama・ComfyUI・Whisper連携：AIツールを組み合わせた動画制作パイプライン

    サワダAI金融工房 － AI最先端×金融ビジネス最前線

    AIを「使う」から「組み合わせる」へ。個人で作るAI制作パイプライン

    近年は、画像、音楽、音声、動画、文章など、あらゆる分野でAIを活用できるようになりました。

    そこで面白いのが、ひとつのAIですべてを完結させるのではなく、それぞれの得意分野を持つAIを組み合わせて一つの作品を作る方法です。AIを単に「使う」のではなく、AIを「組み合わせる」。

    個人がAIを使って制作する際に、どのツールを使い、何を担当させるのかを整理してみます。

    まずは「何を作るか」を決める

    例えば、AIを使って一本の動画を作るとします。作りたいものによって、必要なAIツールも変わります。

    • 解説動画

    • ショート動画

    • ミュージックビデオ

    • キャラクター動画

    • ナレーション動画

    • YouTube向け動画

    制作工程を分解すると、次のようになります。

    企画 ➔ 台本 ➔ 画像・映像素材 ➔ ナレーション ➔ BGM ➔ 動画編集 ➔ 字幕

    この一つ一つの工程を、得意なAIやソフトに担当させます。

    ① 文章・企画・台本：Ollama

    最初に必要な作品の中身は、ローカルLLMを動かせるOllamaが担当します。

    • 主な役割: アイデア出し、企画、台本作成、ナレーション原稿、キャラクター設定、ストーリー作成、文章の要約・翻訳・修正

    「温泉をテーマにした5分動画の台本を作って」と指示すれば、構成や原稿を作成してくれます。ここが制作のスタート地点です。

    ② 画像・映像素材：ComfyUI

    次は、台本に合わせたビジュアルをComfyUIで作ります。画像生成AIのワークフローを自由に組み立てられるのが特徴です。

    • 主な役割: キャラクター画像、背景、イラスト、写真風画像、コンセプトアート、動画生成用の素材、画像の加工・アップスケール

    Ollamaが作った台本に沿って、「温泉旅館の露天風呂」「山間の温泉街」といった場面の画像をそれぞれ生成します。

    Ollama（台本） ➔ ComfyUI（映像素材）

    ③ 音楽：ACE-Step

    映像ができたら、ACE-Stepなどの音楽生成AIでBGMを用意します。

    • 主な役割: 落ち着いたBGM、映画音楽風、ファンタジー、ポップス、アンビエント、ドラマチックな音楽

    動画の雰囲気に合わせたオリジナルBGMを自動生成できるため、素材サイトから探す手間を減らせます。

    ④ ナレーション：音声クローン・TTS

    次は、音声合成AIやTTS（音声クローン技術）を使って台本を声にします。

    • 主な役割: ナレーション、キャラクターボイス、読み上げ、会話、多言語音声

    Ollamaの台本を「落ち着いた男性ナレーション」「アニメキャラクター風」などに変換します。音声クローンを使えば、特定の声質に近い音声を再現することも可能です。

    ⑤ 動画・顔の加工：FaceFusion

    FaceFusionなどのツールを使えば、映像の加工や表現の幅を広げることができます。

    • 主な役割: 顔の置き換え、顔の合成、動画への顔適用、キャラクター映像の制作

    ComfyUIで作った画像と組み合わせることで、静止画を動きのあるコンテンツへ発展させることができます。

    ⑥ 音声認識・字幕：Whisper

    最後は、Whisperを使って動画に字幕を付けます。

    • 主な役割: 音声の文字起こし、動画の字幕作成、SRTファイル作成、音声内容のテキスト化

    動画の音声を文字起こししてSRT形式の字幕ファイルを作成し、動画編集ソフトに読み込ませます。

    動画 ➔ Whisper（文字起こし） ➔ SRT字幕

    ⑦ 最後に動画編集

    素材が揃ったら、最後は人間の手で動画編集を行います。

    映像、ナレーション、BGM、効果音、字幕をタイムライン上で組み合わせます。AIが素材を作り、人間が全体を統括して仕上げるのが、現時点で最も現実的なスタイルです。

    AI制作パイプラインの全体像

    制作の流れをまとめると、次のような構成になります。

    1. Ollama（企画・アイデア・台本）

    2. ComfyUI（画像・映像素材）

    3. 音声AI / TTS（ナレーション）

    4. ACE-Step（BGM・音楽）

    5. FaceFusion（動画・顔の加工）

    6. Whisper（文字起こし・字幕）

    7. 動画編集 ➔ 完成

    これから面白くなる「AI同士をつなぐこと」

    現在は個別の操作が主流ですが、将来的にはAI同士の連携がさらに進むでしょう。

    「温泉をテーマにした5分動画を作って」と入力すれば、Ollamaが台本を書き、ComfyUIが画像を生成し、音声AIが声をあて、ACE-StepがBGMを作り、Whisperが字幕を付けて自動で動画が完成する――。そんな未来も見えてきています。

    だからこそ重要になるのは、「どのAIが一番すごいか」ではなく、「どのAIに何を任せるか」「どうやって組み合わせるか」という視点です。

    AIを一つずつ試し、それぞれの得意分野を知り、つなげていく。そうすれば、AIは単なるツールを超え、自分専用の「制作チーム」のような心強い存在になっていきます。まずは一つのAIから試して、自分だけの制作環境を作ってみてはいかがでしょうか。


    あなたへのおすすめ