メインコンテンツへスキップ
見出し画像

自分の音声から自動でしゃべるAI音声を作る方法

    サワダAI金融工房 － AI最先端×金融ビジネス最前線

    自分の音声を録音して、Youtuberとしてしゃべらせたいと思ったことはありませんか？20分ぐらいの音源があれば、それは可能です。その手法を詳しく解説します。

    ① YouTubeから音声を保存する
    ② ノイズやBGMを消す（重要）
    ③ 音声を切り分けて文字起こしする
    （ローカルPC or Google Colab）
    ④ 学習を開始する

    ステップ1：音声を準備する

    まず、学習させたい動画の音声をYoutubeからダウンロードしたり、自分でマイクで録音セするなどしてパソコンに保存します。

    • ツールを使う： yt-dlp（コマンドラインツール）や、Web上の動画ダウンロードサイト等を利用して、動画から音声ファイル（.wav または .mp3形式）を抽出します。

    • 録音する： パソコンの内部音声を録音できるソフト（Audacityなど）を使って、動画を再生しながら録音する方法もあります。

    ステップ2：ノイズを取り除く

    YouTubeの動画には、多くの場合BGMやゲームの音、効果音が入っています。これらが混ざったまま学習させると、AIがBGMまで「その人の声の特徴」として覚えてしまい、ガビガビした雑音混じりの声になってしまいます。

    声だけの綺麗な素材（クリーンコーパス）にするために、以下のAI音源分離ツールを使って「声」と「背景音」を完全に分離します。

    • Ultimate Vocal Remover 5 (UVR5) などの使用： 現在最も主流な無料の音声分離ソフトです。これにダウンロードした音声を通すことで、驚くほど綺麗に「BGM」と「ボーカル（話し声）」を分けることができます。

      Ulitimate Vocal Remover5（無料）
      https://ultimatevocalremover.com
      （github上にある「UVR Roformer Version Full Install - Main Download Link」から.exeをダウンロード 最新は2023年版）

    • 分離して抽出された「話し声だけの音声ファイル」を、次のステップで使用します。

    ステップ3：音声抽出 手法①

    Style-Bert-VITS2の機能で自動カット＆文字起こし

    ダウンロード＆インストール
    https://github.com/litagin02/Style-Bert-VITS2
    Scriptsフォルダの中にあるInstall-Style-Bert-VITS2.bat（グラボあり）or Install-Style-Bert-VITS2-CPU.bat（グラボなし）をダブルクリックします。

    インストールした「Style-Bert-VITS2」の機能だけで完結できます。

    1. 管理画面（WebUI）を開く： App.bat をダブルクリックして画面を開き、「データセット作成」タブを選択します。

    2. 音声をスライス（切り分け）する： YouTubeの動画は数分〜数十分と長いですが、AIの学習には「2秒〜14秒程度」の短い音声がたくさん必要です。ツールにステップ2で作った音声ファイルを読み込ませると、無音部分を検知して自動で細かく切り分けてくれます。

    3. 自動文字起こし（音声認識）： 切り分けた音声に対して、AI（Whisperなど）が自動で「なんて喋っているか」をテキスト化してくれます。

    ステップ3：音声抽出 手法②

    1. Googleアカウント（Gmailなど）

    2. YouTubeからダウンロードした音声ファイル（できれば .wav 形式）

      • すでに用意してあるとのことなので、大丈夫です。

    3. Google Chromeなどのブラウザ

    ステップ1：Google Colabを開く

    1. ブラウザで、下記のリンクをクリックしてください。

    2. クリックすると、Google Colabのページが開きます。

    3. メニューの「ファイル」→「ドライブにコピーを保存」をクリックします。

      • これで、あなたのGoogleドライブに、このノートブックのコピーが保存されます。

    ステップ2：ランタイム（実行環境）をGPUに設定する

    1. 画面上部のメニューから「ランタイム」→「ランタイムのタイプを変更」をクリックします。

    2. 表示されたウィンドウで、「ハードウェア アクセラレータ」を「T4 GPU」に変更し、「保存」をクリックします。

    ステップ3：音声ファイルをGoogleドライブにアップロード

    1. ブラウザの新しいタブで、Googleドライブ（https://drive.google.com）を開きます。

    2. ドライブ内に、Style-Bert-VITS2 という名前のフォルダを作成します。

    3. そのフォルダの中に、さらに inputs という名前のフォルダを作成します。

    4. inputs フォルダを開き、その中に、あなたが用意した音声ファイル（.wav形式）をアップロードします。

    ステップ4：ノートブックを上から順に実行する（ここが本番）

    先ほどコピーしたColabのページに戻ります。セルという四角い枠の中にコードが書いてあります。これを上から順番に実行していきます。
    各セルの左側にある ▶（再生ボタン） をクリックすると、そのセルが実行されます。

    セル①：「0. 環境構築」（1つ目）

    • 何をするか：Style-Bert-VITS2を使うための準備をします。

    • 実行する：▶ をクリックします。

    • ここが重要：実行後、「セッションがクラッシュしました」という警告が表示されますが、それは正常です。作者がわざと再起動をかけているためです。何もせずに、次のセルに進んでください。

    セル②：「0. 環境構築」（2つ目、Driveマウント）

    • 何をするか：ColabとあなたのGoogleドライブを接続します。

    • 実行する：▶ をクリックします。

    • 実行すると、認証用のリンクが表示されます。クリックしてGoogleアカウントでログインし、表示される認証コードをコピーして、Colabの入力欄に貼り付けてEnterを押します。

    セル③：「1. 初期設定」

    • 何をするか：データの保存先を設定します。

    • 実行する：▶ をクリックします。

    セル④：「2.1 音声ファイルからのデータセットの作成」

    • 何をするか：アップロードした音声ファイルを、AIが学習しやすいように自動で細かく切り分け、さらに文字起こしも自動で行います。

    • 実行する：▶ をクリックします。

    • この処理には時間がかかることがあります（音声の長さによります）。

    セル⑤：「3. 学習の前処理」とセル⑥：「4. 学習」

    • 何をするか：いよいよAIの学習を開始します。

    • 実行する：それぞれ▶ をクリックします。

    • これも非常に時間がかかります（場合によっては数時間）。無料版のColabは連続使用に制限があるので注意してください。

    ステップ5：学習が終わったら

    学習が無事に終わると、モデルファイルがGoogleドライブの Style-Bert-VITS2/model_assets/ フォルダに保存されます。
    このモデルをAivis Speechなどのソフトウェアに読み込ませれば、あなたの声でテキストを読み上げることができるようになります。

    最終チェック

    自動文字起こしが終わると、フォルダ内に「短い音声ファイル」と「その音声が何を喋っているかを記録したテキストリスト」が自動で出来上がります。

    文字起こしが間違っている部分（YouTubeの口調特有の表現や、固有名詞の誤変換など）をエディター画面で軽く手修正すれば、データセットは完成です。

    学習を開始

    「学習」タブに移動してボタンを押せば、YouTubeの音声をもとにしたあなただけのAI音声モデルのトレーニングが始まります。


    あなたへのおすすめ