
【無料配布/ComfyUI v1.6.2】日本語の一言・画像から歌とMV素材を作る|複数キャラ対応
Usage terms / 利用条件
ソースコード公開・利用無料。個人利用、業務、社内利用、受託制作、無料の組み込み・無料提供は、申請・事前連絡・FURUの許可が不要です。第三者とAPI提供元の条件・料金は別です。
対象は日本語作曲の現行ソースv1.6.2のFURU連携部分(Apache-2.0)です。別途導入するYuEコードはApache-2.0ですが、YuE2-3B・YuE2-Vaeのモデル重みはM-A-P側のCC BY-NC 4.0です。FURUはモデルの商用利用を許可できず、有料制作が可能とは保証しません。Qwen・LM Studio・ComfyUI・MIDI関連依存も別の条件に従います。
道具として制作した文章・画像・漫画・動画・音声等の公開、販売、収益化、納品について、FURUへの申請・個別許可・利用料・クレジット表記は不要です。第三者の作品・素材・声・音楽等の権利は別途確認してください。
無料Web記事、note等の有料紹介記事、独自の解説・レビュー・講座も、対象ソフトウェアの複製・改変版を商品に含めなければ、FURUへの許可・事前連絡・利用料は不要です。FURUが許諾できる操作画面・操作動画の紹介掲載と、通常の配布ページへのリンクを認めます。画面や動画内の第三者の作品・素材・音声等の条件は別途確認してください。
無料再配布・無料組み込みでは各適用ライセンスに従い、必要な著作権表示・許諾文・第三者ライセンスを保持し、該当する改変を明示してください。サービスでは利用者が確認できる説明ページへの案内をお願いしますが、既存ライセンスを超える義務は追加しません。FURUの公式・公認・提携と偽って表示しないでください。
現行のMIT・Apache-2.0・GPL-3.0許諾では、各条件を守るソフトウェアの販売・有料配布、有料商品・アプリ・サービスへの組み込み、機能の有料提供、複製・改変版を含む有料教材・会員向け配布・購入者限定の「無料特典」も認められます。その許諾内の利用にFURUの事前許可を追加で求めません。7アプリの商品化の事前許可方針は、既に許諾済みのこれらの部分へ遡及適用しません。第三者の条件はFURUが免除できません。
FURUの利用案内では広告収益や任意の寄付だけでは機能の有料提供として扱いません。社内だけの組み込み、自分で道具として使う受託制作・完成作品の販売・納品にはFURUの許可は不要です。この区分は第三者の非商用条件の意味を変更しません。
適用ライセンスの範囲外で個別の許可を求める場合は、対象のプロジェクト・版・ファイル、利用方法、提供先、料金の有無を添えてFURUへお問い合わせください。FURUがメール等の記録に残る方法で許可の旨と対象範囲を返信すれば、その範囲で有効です。紙の契約書・押印は不要です。問い合わせ送信、自動返信、無応答だけでは許可になりません。既存許諾内の利用には問い合わせ自体が不要です。FURUは他者の権利を許可できません。
利用しただけでFURUが成果物の権利を取得したり、ソフトウェア条件を成果物へ適用したりしません。成果物中のソフトウェア自体の複製・改変部分は、その適用ライセンスに従います。著作権の成立・帰属、第三者の権利、契約、API提供元の条件は別途判断してください。
本案内はFURUが許諾できる寄与部分に限ります。第三者のコード・モデル・ノード・素材・外部サービス・別プロジェクトはそれぞれの条件を保持し、リンク・同梱・紹介しただけでFURUの許諾対象になりません。
2026年10月8日の今回の文書改定は現行条件を明確化するものです。MIT・GPL・Apache・Creative Commons等の既存の有効な許諾を取り消したり狭めたりせず、過去版・既存ZIPにも遡及適用しません。将来変更する場合は適用可能な版・ファイル・権利者を明示します。商品化を制限する独自条件の対象を「OSS」と表示せず、「ソースコード公開・利用無料」と表示します。
利用案内全文 / 対象版・ファイル・権利者
概要と現在の配布版
短い日本語の希望、プリセット、手書きの歌詞、漫画やキャラクターシート。このどれかを入力し、LM Studioで歌詞と曲調を組み立て、YuE2で歌と伴奏を作るComfyUIワークフローです。現行版v1.6.2では、1枚の画像にいる複数人を別々の人物として読み取り、その情報をMV制作まで引き継げます。作詞前のLM Studio起動連携も修正しています。

GitHub Release v1.6.2のAssetsから、YuE2_Japanese_LMStudio_v1.6.2.zipを取得してください。LM Studio起動連携の修正と複数キャラ機能を含む導入用ZIPです。初回はJSON単体ではなくZIP一式を使います。
できること
日本語で「雨の日の帰り道。少し切ない女性ボーカル」などと書き、歌詞、曲名、ジャンル、雰囲気、楽器、テンポ、歌声をまとめて提案させる。
11種類のプリセットを使う、歌詞と曲調を手入力する、両方を組み合わせる。
漫画や1枚絵から登場人物、物体、出来事、関係、結末を読み取り、テーマソングを作る。
生成前に歌詞の読みを行ごとに確認し、固有名詞などの修正をPC内の個人辞書へ保存する。
完成音声をFLAC、歌詞入りMIDI、曲情報として保存し、再生位置に合わせて歌詞を目安スクロールする。
完成曲と同時に、MiniMax H3などへ渡せるMV素材バンドルを書き出す。
v1.6.1の複数キャラクター処理
画像入力では、1枚のキャラクターシートや漫画から1~12人を読み取ります。各人物について、安定ID、名前、外見、役割、セリフ、行動を別々に保持し、人物同士の関係、物語、結末も記録します。同じ人物の全身図、表情差分、別ポーズ、拡大図は同一人物へまとめ、外見が似ている別人は統合しません。
コードでは人物配列を1~12件に制限し、必要項目の不足、空欄、重複IDを検査します。最初の読み取りが不完全な場合は人物を増減・統合しない条件で1回だけ補正し、それでも不正なら曲生成へ進まずエラーとして保存します。画像にない名前やセリフを作らず、不明な項目は「不明」「なし」として扱います。
LM StudioのGGUFモデルがコールドスタート中でAPIへまだ接続できない場合は、上限付きの準備確認と再試行を行います。歌詞の代名詞「君」は、山田君のような敬称を保ちながら、文脈上の代名詞だけ「きみ」と読む補正が入ります。
必要な環境
動作確認はWindows+WSL2 Ubuntu、NVIDIA GPU、VRAM 16GBの環境です。YuE2用の独立Python環境、LM Studio、Qwen3.5 9B Q4_K_M、ComfyUI、モデル一式が必要です。モデル本体はZIPへ同梱していません。初回取得では約7.8GBのモデルに加え、Python環境とLM Studioモデル用の空き容量を見込んでください。
外部の有料APIキーは不要です。LM StudioはローカルAPIとして使い、作詞時だけモデルをGPUへ読み込み、作詞後に解放してYuE2の曲生成へ進みます。
導入
配布ZIPをWSLから使える場所へ展開し、展開先でpython3 verify_package.pyを実行します。
python3 install.py --comfyui ~/ComfyUIを実行します。ComfyUIの実際の場所に合わせて変更してください。
ComfyUIを再起動し、YuE2_日本語おまかせ_LMStudio_GPU.jsonを開きます。
モデル選択ノードの「必須モデル一式を取得 / Download models」から13ファイルを取得し、サイズとSHA-256の検査を完了させます。
LM StudioでQwen3.5 9Bを取得し、Developer画面を開いた状態で最初の作詞を実行します。
作曲の流れ
画像から作る場合は画像入力をONにして種類と読む順番を選びます。画像OFFなら、日本語の希望、プリセット、手動歌詞を使います。
曲の長さを選びます。「1曲(イントロ~エンディング)」では、1番、サビ、2番、ブリッジ、最後のサビ、アウトロまで作り、秒数で途中を切りません。
作詞ノードを実行し、LM Studioが作った歌詞、曲名、曲調を確認します。
原文とひらがなの読みを全行確認し、「この読みで曲を生成」を押します。生成開始後に直す場合は新しい曲の生成になります。
完成した音声とMIDIを再生し、歌詞の欠落、発音、曲の終わり方を確認します。
通常曲はComfyUI/output/audio/YuE2/日時_ID/へ保存されます。「可変尺」は自然な長さを保ち、「目標尺」は指定秒数を目安に作詞します。「ぴったり尺」は生成後にフェード、カット、無音補完で指定秒数へ編集し、元音声をaudio_original.flacへ残します。
MV素材バンドル
曲生成が成功すると、通常の曲フォルダーとは別にComfyUI/output/mv-assets/曲名_日時_ID/を作ります。
master.flac:完成した48kHzステレオ音源
lyrics_display.txt:表示用の正確な歌詞
lyrics_singing.txt:歌唱用の読み
lyrics.json:機械可読の歌詞。作曲時点では時刻を捏造せず空の区間を持つ
mv_manifest.json:音源、歌詞、SHA-256、schema v2の人物情報と関係性
README.txt:受け渡し方法
歌詞の時刻はnot_alignedとして渡し、MV側が最終音源へWhisperを当てて整列します。標準ComfyUIのAUDIOと任意メタデータを受ける独立ノードなので、同じ仕様を作ればYuE2以外の歌声システムにも利用できます。
確認済み範囲と注意
通常の画像から作曲する経路で、2人物のシートから181.798667秒、48kHzステレオの音声とschema v2バンドルを生成し、2人のID、外見、役割、関係を別々に保持したことを確認しています。特定の入力での検証であり、すべての画像認識や日本語歌唱を保証するものではありません。
YuE2モデルはCC BY-NC 4.0で非商用条件があります。画像、歌詞、参照作品の権利も別に確認してください。公開前には、歌詞どおりに歌っているか、読み、音割れ、途中終了、人物の取り違えがないかを実際に試聴・確認します。
作詞前に止まったときのLM Studio復旧
powershell.exe と GetFolderPath('LocalApplicationData') を含む CalledProcessError は、作詞前のWindows CLI探索での失敗です。v1.6.2ではPATH上のCLIを先に使い、子プロセスの消失したWSL連携ソケットを補正し、CLI失敗を復旧案内付きで表示するようにしました。
未保存のワークフローと入力を保存し、他のComfyUIジョブが動いていないことを確認します。WindowsでLM Studioを開き、起動完了を待ちます。
WindowsのPowerShellで次のコマンドを実行し、CLI・サーバー・GGUF Runtimeを確認します。独自配置の場合は実パスへ置き換えます。
& "$env:USERPROFILE\.lmstudio\bin\lms.exe" --version
& "$env:USERPROFILE\.lmstudio\bin\lms.exe" server status
& "$env:USERPROFILE\.lmstudio\bin\lms.exe" runtime lsGGUF Runtimeが未選択ならLM StudioのRuntime設定で導入済みのものを選び、Qwen3.5 9B Q4_K_Mの取得を完了させます。「No LM Runtime found for model format 'gguf'」はこの項目の確認が必要です。
Developer画面でAPIがポート1234で動き、ワークフローが使うWindows側ゲートウェイのアドレスへWSLから接続できることも確認します。LM Studio本体が開いているだけではAPIの準備完了とは判断できません。
保存後、他のジョブがないComfyUIを停止し、新しいUbuntuターミナルから普段の起動コマンドで起動し直して、保存済みワークフローを開き再実行します。ブラウザーだけの再読込では、長時間起動したComfyUIのWSL連携環境は更新されません。
CLI自体は動くのにPowerShellによる探索だけが失敗する場合は、ComfyUIを起動する前の同じUbuntuシェルで、実在するCLIのパスを指定します。YOUR_WINDOWS_USERを自分のユーザー名に置き換えてください。
export YUE2_LMS_CLI="/mnt/c/Users/YOUR_WINDOWS_USER/.lmstudio/bin/lms.exe"
"$YUE2_LMS_CLI" --versionこの指定はCLI探索の迂回です。API停止、接続先・ポートの誤り、Runtime・モデル不足は、それぞれ上の手順で確認してください。
修正後は起動の正常例・異常例の回帰テストが合格し、同じ失敗入力が通常経路から完走して144.7秒の音声とMIDIを保存しました。最初のPowerShell失敗自体は再現できず、手動再起動だけの効果は未確認です。
公式手順:LM Studio CLI/APIサーバー/Runtime選択
更新履歴
v1.6.2(2026年10月6日):LM StudioのCLI探索とWSL起動連携を修正。復旧手順をREADME・この記事へ追加し、コードと導入ZIPをGitHub Releaseへ反映。
v1.6.1(2026年9月23日):画像内の1~12人を別々に読み、安定ID、外見、役割、セリフ、行動、関係性をschema v2でMVへ引き継ぐ処理を追加。LM Studioのコールドスタート復旧と「君」の読みも改善。
v1.6.0:完成曲、正確な歌詞、ハッシュを持つMV素材バンドルと、通常曲とは別のmv-assets出力を追加。
v1.5.4:画像のラベルやライセンス断片の英数字が歌詞へ残る場合、該当行だけ歌える日本語へ補正。
v1.5.1:標準の2番までの1曲構成、生成前の読み確認、個人辞書、歌詞スクロールを整備。
ほかのアプリ・ワークフロー
制作に使えるアプリとComfyUIワークフローの紹介記事です。