耳で聴く小説？非専門家がAIで2日で作ってみたボイスドラマ制作記（feat. 面接脱落記）

2026年4月21日 17:59

こんにちは、中野ゴリラです！ 🦍

最近のAI技術の発展スピードには本当に目を見張るものがあります。最前線でトレンドを追っていると自負している私でさえ、毎日溢れ出てくる新しいツールをすべて試すのが追いつかないほどですから。

韓国にいた頃は業界の知人たちと一緒に仕事をしていたため、自然と自分の経験を共有する場がありましたが、日本に移住してからはそうした機会がなくなり、その寂しさを紛らわすために始めたこのブログも、気づけば3ヶ月目に突入しました。今ではむしろ、ここに共有するための新しい知識を発掘することが日々の大きな原動力になっています。

最近このブログに蓄積された記録のおかげで、AIベースのボイスドラマやショート動画を制作するある企業と面接をする機会を得ました。

グローバルIP事業開発とプロジェクト管理を生業としてきた私にとって、テキストが音声へと拡張されるパイプラインは非常に興味深い分野でした。

そこで面接の準備として、これらのコンテンツを実際に自分で作ってみることにしました。事業PMの視点から、このコンテンツがどれほど短期間で、どの程度のリソースと高効率で生産できるのかを、自分の目で直接検証してみたかったからです。

実際にぶつかってみてこそ改善点も見えてきますし、実際のビジネスモデルとしての可能性も測ることができますからね。

結論から申し上げますと、準備したコンテンツを紹介する前に面接で不採用となりました。 ☠️

しかし、苦い思いをしたのは一瞬だけで、私にはこの作業を行った経験値が残りました。AIを活用したコンテンツ制作パイプラインが拡張されたのです。

そこで本日は、私がWeb小説プラットフォームで連載する短編ストーリーを企画し、それを2日間かけてハイクオリティなAIボイスドラマへと生まれ変わらせた全プロセスを共有したいと思います。

STEP 0: まずは成果物を見る（1分パイロット版）

百聞は一見に如かずです。

私がこの作業を決心してから約2日かかりました。ストーリー作成に1日、そしてAIツールでの作業に1日ですね。

今回制作した成果物です。まずはご確認ください。興味深くありませんか？画像1枚と音声のみで構成された「ボイスドラマ」の形式です。

日本語

韓国語

それでは、上記の成果物をどのように作ったのかをお話ししましょう。 🛫

STEP 1: なぜ今「ボイスドラマ」なのか？（市場性とAIの融合）

最近のWeb小説の人気に伴い、それを「聴くコンテンツ」として消費するオーディオドラマ、あるいはボイスドラマ市場が急成長しています。耳では何かを聴きながら手と目で業務を行ったり、通勤途中の電車内で耳で本を読む時代ですよね。

Spoon（スプーンラジオ）やDalVoice（ダルボイス）のようなプラットフォームがこぞってオリジナルオーディオフィクションを打ち出しているのもそのためです。

私が注目したAI制作の核心的な価値は、「グローバル・ワンビルド（Global One-Build）」です。

従来の制作プロセスを考えてみると、まずボイスドラマ用の作品が必要であり、登場人物ごとにTTSあるいは声優をキャスティングして演技してもらい、それに合った効果音やBGMを制作するサウンドクリエイター、そしてこれを編集するエディターが必要です。

もしグローバル展開を考慮するなら、追加される言語ごとにナレーションを含むキャラクターの音声もすべてキャスティングし直し、録音しなければなりません。

ゲームやコンテンツを海外展開した時の経験を思い返すと、海外市場に進出する際に録音スタジオを探すことや、どのような声を採用するかといったこと自体がストレスの要因になります。

しかしAIを活用すれば、一つのボイスモデルで韓国語と日本語バージョンを同時に、わずか2日でリリースすることができます。 これは事業開発の側面から見て、圧倒的なコスト削減と市場参入へのスピードを意味します。

私は一人で無料ツールを使ってここまで作業できたので、実際にこうしたコンテンツをサービス展開する企業であれば、より専門的でクオリティの高い作品を1日に何十本も制作できるはずだと考えています。

STEP 2: 制作パイプラインの構築

私はこの作業を、長くても2日程度で終わらせようと決めていました。そのため、この締め切り内にどのように作業を進めるか、まずは詳細に設計しました。以下は、私が作業のために立てたプロセスです。

ストーリー企画： 10話分の世界観およびプロット作成。
スクリプト化： 小説テキストをAI音声指示が含まれる台本へ変換。
音声生成： キャラクターマッピングと感情演技のレンダリング（ElevenLabs）。
サウンドデザイン： 効果音（SFX）およびBGMの生成とミキシング。
映像化： 編集およびYouTubeへのパブリッシング。

上記の順序で、一つずつ作業した内容を説明していきます。

STEP 3: 過程1 - 小説の執筆

真っ先に必要だったのは、核心IPとなるストーリーです。

ボイスドラマを作ろうと考えた時、そもそも私はボイスドラマ向けのストーリー制作の形態を知りませんでした。しかし、（人気は悲惨なほどありませんが）Web小説を連載中であり、読書も好きなため、文章でストーリーを作成することはできました。

そこでまずは、ボイスドラマ用のストーリーを短編小説として作成しました。古典の『人魚姫』の設定を借りつつ、舞台を宇宙の惑星に移し結末をひねったSF小説を企画しました。

企画意図： 人類のテラフォーミング任務と土着生物の生存の狭間で葛藤する主人公「エル」と「アリ」の物語。
作業方式： 基本的な小説の背景、キャラクター設定、ストーリーのフローチャートを完成させた後、ClaudeやGeminiと対話しながら世界観のディテールを固めました。
そして、完成した小説全体のフレームに合わせてAIを活用し、10話分の短編小説としてのテキストとディテールを追加しました。この作業に4～5時間程度かかりました。
成果物： 完成した短編小説は、日本の小説プラットフォーム「カクヨム」でも同時に連載を開始しました。（4月21日から毎日1話ずつ公開され、全10話です。)

以前、AIを使ったゲーム開発やアニメ制作の際にもお話ししましたが、生成型AIがいくら優れた性能を持っていたとしても、作業者がどのような知識と計画を持って作業するかによって、成果物のクオリティと作業時間は全く異なります。

小説執筆の過程も、以前から執筆用にメモしていた様々なアイデアを活用して作業したため、非常にスピーディーに進みました。

STEP 4: 過程2 - 一般小説 ➔ オーディオスクリプトへの変換

作成した小説をそのままTTSに読ませてみたところ、本当に退屈極まりないものでした。耳で聴きながらも、頭の中ではまるで目で本を読んでいるかのように状況が演出されるよう構成する必要がありました。

そのため、小説を「ボイスドラマ用スクリプト」に変換する作業が必要でした。原作小説を映画の台本に作り変えるように、そしてどんな効果音や指示語を含めるかといったスクリプト化の作業は、AIと一緒なら簡単でした。

以下の通り、小説の原文をボイスドラマ用スクリプトにするのに5分程度しかかかりませんでした。（3千文字の小説1話基準）

参考として、作業したスクリプトを比較できるよう、同じ小説部分のスクリプト比較画像を載せておきます。 👇👇

これでスクリプトも完了しました。次の段階はこれを音声化する作業です。

STEP 5: 過程3 - 最高の音声(TTS)探し

数年前まで、TTS（Text to Speech）技術は非常に不自然なものでした。聴けば一発で「これはTTSだな！（よく機械音声と呼ばれますね）」と分かるほどでした。

しかし最近のAIのおかげで、TTSなのか本物の人間が録音したものなのか区別がつかないレベルになっています。 2023年にリリースされたネクソンのゲーム『THE FINALS』でも、ゲーム内のアナウンサーボイスをAIで制作していますが、私はニュースを見るまでその事実に気づかなかったほど完成度が高いものでした。

TTSツールを選ぶにあたり、いくつかのツールで悩みました。最初は2つのツールを使おうと考えていました。韓国語と日本語でボイスドラマを作ることが今回の作業目標だったため、それぞれの言語で自然に生成できるツールを選ぼうとしたのです。

過去の私の知識では、日本語でトレーニングしたTTSは日本語は自然でも、他の言語は不自然だろうと思っていました。したがって、韓国語は韓国のTTSで、日本語は日本でよく使われるTTSを使おうとしていました。

Googleアシスタントが英語ではとても自然に会話するのに、韓国語の設定に変えると感情のない無愛想な話し方に変わりますよね？ TTSもそうだろうと考えていたのです。

しかし、複数のツールをテストした結果、言語の区別なく ElevenLabs を使用することに決めました。 ElevenLabsで色々と実験した結果、韓国語と日本語のTTSは、どちらの言語を話させても不自然さがなかったからです。

Supertone: 韓国語のイントネーションは素晴らしいものの、長い文章の処理でエラーが頻発し、キャラクターの演技力の深さが物足りませんでした。
ElevenLabs: 一人の声優の音声で、韓国語と日本語を違和感なく実装できました。特に無料の1万クレジットが提供されているおかげで、十分なテストが可能でした。

ElevenLabsに登録し、様々な機能をテストしてみました。本当に多くの音声が提供されており、どの音声がどのキャラクターに似合うかを考えながら、自分だけの声優オーディションを実施しました。
（様々な感情的な内容が混ざった一つの文章に対して、複数のTTS音声を切り替えながら聴き比べ、小説のキャラクターに合う音声を決定しました。）

その後、AIが作成してくれたスクリプトの話者に合わせて、一人ずつ声優を指定していきました。

ちなみに、音声ごとにどれくらい感情的に話すか、どんな速度やトーンで話すかも設定可能でした。

ひとつの声でも、さまざまな設定変更で自分の望むキャラクターを作り出すことができた

このようにすべて設定すれば、音声生成ボタンを一度押すだけです。するとすぐに結果が出てきます。

もちろん、実際の人間の演技力やディテールにはAIもまだ及びません。しかし、それでも驚くべき発展スピードと、非専門家が挑戦できる様々な試みにおいては十分なレベルだと思います。

STEP 6: 過程4 - 泥臭い試行錯誤と解決の記録

上で説明した内容は簡単そうに見えますが、実はこの過程が最も険しいものでした。多くのTry & Errorがありました。皆さんは私と同じ失敗をしないよう、いくつかの失敗事項を記しておきます。 😢

三点リーダー（……）の呪い： 日本語と韓国語のモデルで、三点リーダーを使って感情を表現してほしかったのですが、「ドットドットドット」や「テンテンテン」と読んでしまうのです。中二病患者のように。また、「…」が長くなったり多様な指示を出すと、ある瞬間から自分が読んでいた文章を無限ループするバグも発生しました。例：ゴリラはバナナを食べた。しかしゴリラはバナナを食べたが、バナナを食べたゴリラだったのだ。そうしてゴリラはバナナを食べた。 ➔ 解決方法： これらの記号をすべて削除し、読点（、）や英語のオーディオタグ（[sigh]など）にできるだけ置き換えました。むしろ、こういったオーディオタグを複雑に繋げる方が自然に表現してくれました。

プロジェクト機能の重さ： ElevenLabsには「Project」という機能があります。シリーズで複数の作品を作る時に管理しやすく、また複雑な作業（動画の吹き替えや字幕など）を行うための機能です。しかし、この機能を使ってみると、感情の演技が硬くなる傾向がありました。映像なら問題ないかもしれませんが、耳だけで聴いて小説の内容を想像する読者にとって、このような不自然な演技は良くないと考えました。 ➔ 解決方法： プロジェクトではなく「テキスト音声変換（Speech Synthesis）」機能を使用したところ、演技力ははるかに自然になりました。ただし、10分の長さの音声を一度に作ることになり、一部の修正が難しかったです。そのため、その後は全体の内容を3分単位に区切って作業しました。

クレジットの蒸発： 最初は無料クレジット10,000で1話くらいの作品はサクッと作れるだろうと思っていました。（実際に作業に慣れれば、このクレジットでも複数話制作可能になりそうです。）しかし、何度もやり直した結果、無料クレジットが底をつき、結局6ドルを支払って有料モデルに拡張しました。

STEP 7: 過程5 - サウンドミキシング (BGM & SFX)

さて、これで私の基準では合格点となるボイスドラマ用の音声が完成しました。しかし実際に聴いてみると…何かが物足りません。

そうです。1938年、アメリカCBSのラジオドラマ『宇宙戦争』の放送により、人々が本当に戦争が起きたと錯覚した理由は、まさにリアルな効果音と演出にあったと言われています。

私にもBGMとSFXが必要でした。以前ビジュアルノベルプロジェクトを作った時のように、Suno AIで作曲し、無料の効果音を探そうと思っていたのですが、驚くべきことに、ElevenLabsには効果音やBGMを作るツールもありました。ちょうど6ドル支払ってクレジットも十分にあったので、この「Sound Effects」と「Music」機能を活用してみました。

効果音やBGMがループするかどうか、長さが何秒か、プロンプトの内容に何%忠実に従うかなどを設定すると、成果物を一度に4つずつ作成してくれました。ただし、音楽は3千クレジット程度とかなり高価で、効果音も長さに応じて100クレジットほど使用しなければなりませんでした。

この機能を使って、私はテキストプロンプトを入力し、「SF宇宙船のエンジン音」や「緊張感あふれるアンビエント音楽」を生成しました。

作業した効果音の一覧。一度に4つずつ生成され、欲しい結果をダウンロードすればよい。

STEP 8: 作業物の組み立て

残念ながら、私が制作した音声、BGM、SFXはElevenLabsのツール内で結合させることはできませんでした。しかしどうせ微調整は必要だったので、無料の動画編集ツールであるDaVinci Resolveで編集を行いました。

好きな位置に効果音やBGMを入れ、全体のサウンドを一つにまとめる作業です。成果物はYouTubeにアップロードする予定だったので、ついでにGeminiで作品のサムネイルも作成しました。

こうして完成したのが、記事の最初にお見せした作品です。上の編集画面で、音声だけを他の言語に差し替えれば、多言語で同じボイスドラマが完成するというわけです。

STEP 9: 結論

こうしてボイスドラマを完成させてみました。

シナリオを作成し、それをスクリプト化し、希望の音声を選別して録音、最後に効果音と背景音楽まで被せて作る「私だけのボイスドラマ制作」作業は、とても楽しいものでした。

面接のために始めたわずか2日間の挑戦でしたが、想像を現実にするAIの力を改めて体感しました。

AIのおかげで、個人のクリエイターでもグローバル市場（日韓同時ローンチ）をターゲットにしたコンテンツスタジオになることができます。しかし、誰でも簡単に作れるということは、低品質な量産型コンテンツが溢れかえる危険性があるという意味でもあります。

最近、一部のプラットフォームが技術の便利さだけを盾にして、無思慮に低品質なAIコンテンツを量産し、一攫千金を狙うような振る舞いを見せています。

しかし、

結局生き残るのは企画者の魂（IPの独創性）が込められた良質なコンテンツだけでしょう。

結局は、作る人の素晴らしいアイデアと作業者の芸術的感覚が重要なのです。技術は翼に過ぎず、どこへ飛んでいくかは企画者次第です。皆さんも、自分だけの想像をAIを通じて現実に変えてみることをお勧めします！