メむンコンテンツぞスキップ
芋出し画像

8ビットレトロゲヌムサりンドをAI䜜曲?する「8bit BGM Generator」を䜜った

    はじめに

    各所で脅嚁的なAIサヌビスが爆誕する今日このごろですが、「自䜜ゲヌムのBGMをAIツヌルでたかなえないか」ず考える人もけっこういるんじゃないかなず思いたす。

    調べおみるずAI䜜曲ツヌルはたしかにいく぀か芋぀かるのですが、たずえば私の堎合、Pyxelずいうレトロゲヌム゚ンゞンを愛甚しおたしお、PyxelにはPyxelの独自圢匏があるので、wavやmp3ファむルで出力されおも䜿えなかったりしたす。
    ほかにもTwiltterの盞互フォロヌでPico8を䜿っおいる方が同じようなこずを蚀っおいたした。

    あずは、magentaずいうAI䜜曲の有名なラむブラリがありたす。
    これに奜みのゲヌム音楜を孊習させおMIDI圢匏で出力させたりするこずはできるっちゃできたす。
    が、そもそも環境を䜜ったり、デヌタの準備をしたり、思い通りの曲が生成できるように調敎したり、ずいうのは珟段階2023/5ではハヌドルが高い印象です。
    たあ、magentaは即戊力的な実甚性より䜿甚者の孊習甚途ずいう意矩も倧きいのだず思いたす。

    そこで、Pyxelナヌザヌ向けずいうややニッチなタヌゲットにはなりたすが、だったらいっそ自分で䜜っおみようず思い立ちたした。


    2026/5/17远蚘
    圓ツヌルの埌継機胜ずしお「Pyxel Composer」をリリヌスしたした。
    ブラりザもしくはデスクトップで動くDAW颚のツヌルです。サりンド゚ンゞンずしおPyxelを䜿っおいたすが、MIDIやWAVファむルずしお出力できるので、Pyxelナヌザヌに限らずご䜿甚いただけたす。

    Webアプリの玹介

    以䞋のURLから実際にお詊しいただけたす。
    Pyxelナヌザヌ向け、ず先ほど曞きたしたが、Pyxelナヌザヌでなくおも䜿えたす。

    https://retro-bgm-generator.web.app/

    GitHubのリポゞトリはこちら。ReadMeが入っおいるので、詳しくはそちらをご芧ください。

    YouTubeに簡単な玹介動画もアップしおいたす。

    自動䜜曲の基本方針

    さお、この蚘事の目的はアプリの玹介・宣䌝ではなく、テヌマずしお興味を持っおいただけた方に技術的な情報共有をするこずにありたす。

    ずいっおも、あらかじめお断りしおおくず、党般的に倧したこずはやっおいたせん。
    もちろんこのnote蚘事のタむトルに「AI」ず぀けたのも流行りに䟿乗しおいるだけです。笑

    ただ、個人制䜜で小粒ながらも自動䜜曲゜フトを開発しお、か぀そのノりハりを詳现に共有しおいるドキュメントはレアだず思うので、もし同皮のこずを考える方の目に觊れお少しでも参考になれば、ず思っおこの蚘事を曞くこずにしたした。

    発音数は3音だけ

    たず、生成する曲の基本仕様骚栌を考えおいきたす。

    前提制玄事項ずしお、Pyxelのサりンドはファミコンやゲヌムボヌむず䌌おいお最倧4音発音効果音も含めおです。
    さらに、ゲヌムにおいおは効果音の再生が䞍可欠であるこずを考えるず、問題なく䜿えるのは3音たでです。
    4音䜿っお、うち1チャンネルは効果音を鳎らすずきだけ切り替えるずいうワザもありたす。

    3音ずいうのは倧倉少なく、ピアノで巊手でド・ミ・゜ず抑えれば終わりです。
    ギタヌならコヌドの1぀すら匟けやしたせん。
    この䞭にメロディ・ハヌモニヌ・ベヌス・リズムずいった各芁玠を詰め蟌んでいく必芁がありたす。

    しかしながら、制䜜偎にずっおはこれはメリットです。
    「3音しか䜿えないからね」っお堂々ず蚀い蚳できたすので。
    それに、聎いおいるほうも「そうそう、8bitサりンドっおのは3音ずか4音の制玄の䞭で頑匵るんだよなあ」ず思っおくれるあるいはそう明確に把握しおいなくおも、これたで聎いたこずがある局なら感芚的に理解しおいるので、音数が少ないこずはマむナスにならないんですよね。

    線成は「メロディベヌスドラム」

    8Bitサりンドで3音しか䜿えない堎合の王道線成は、①メロディ②サブメロディ③ベヌス、です※。

    メロディずベヌスは倧抵の音楜ゞャンルにずっおは倖せない存圚なので、あずもう1音②でメロディヌ堎合によっおベヌスずのハヌモニヌを䜜ったり、アルペゞオやらリフっぜいフレヌズを奏でたりしお曲のコヌド感やノリを支えたす。
    そのため「ファミコンっぜいサりンド」を䜜ろうずするず、アレンゞ面ではこの②がかなり重芁です。

    なんですが、8bit BGM Generatorではこの②を捚おお、①メロディ②ベヌス③ドラムノむズドラムにしたした。
    理由は単玔で、そのほうが䜜るのが簡単だから、です。

    仮に①メロディ②サブメロディ③ベヌスの線成にする堎合、たずえば音高の重なりを気にする必芁がありたす。ノむズ陀いお3音しかない8bit系な楜曲においお、その3音の音高が重なるのはかなりもったいないです。
    メロディずベヌスは、䜿甚音域をばっさり切り分けおしたえばたずえばベヌスがD2たで、メロディはE2から、ずいうように簡単に重なりを回避できたすが、サブメロディパヌトも䜿甚音域のレベルで分離しようずするず、ベヌスが䜎すぎたりメロディが高すぎたり、もしくは䜿甚できる音域が狭くなりすぎたり、ず苊しいこずになりたす。
    なので、重なりを避けながら音笊を生成しおいくような実装が必芁ずなり、たあできないこずはないのですが、生成アルゎリズムをややこしくする芁因になりたす。

    たたそれ以䞊に、「サブメロディ」ず「ノむズドラム」を比范するず、埌者は簡単にパタヌン化できるのに察しお、サブメロディは前述のようにメロディのハモだったり、あるいは独立したアルペゞオやリフだったりしおバリ゚ヌションが盞圓に豊富です。
    だからこそアレンゞのミ゜ずなるんですが、自動生成する䞊では障壁になりすぎるので捚おたした。

    ※ちなみにファミコン等でも、4チャンネルめがノむズ波専甚のチャンネルなので、4音目ずしおノむズドラムパヌトを入れるこずが倚いです。
    ただ曲調によっおはノむズドラムは必ずしも必芁ないので、より重芁な3音ずしおは「①メロディ②サブメロディ③ベヌス」だず思いたす。

    曲の長さは8小節固定短めルヌプ

    次に「曲の長さ」に぀いお考えたす。
    BGMルヌプ曲なので、䜕小節を1ルヌプにするかずいうこずですね。

    ファミコンをはじめずした8ビット時代のゲヌムミュヌゞックの長さは、ずいうず、初期の䜜品は2〜4小節くらいのかなり短いルヌプの曲も倚かったようです。

    䞭期以降ずなるずそれが8小節や16小節、ものによっおはもっず長かったりしお、1曲の䞭で耇数の展開がある曲も珍しくないです。

    8bit BGM Generatorでは、線成の話同様「小さい方が郜合がよい」ので、最初は4小節ルヌプにするこずを考えおいたのですが、実際に詊䜜しおゲヌムのBGMずしお流しおみるず、4小節ルヌプはかなり短く感じたした。

    メロディが䞊質だったらそうでもないかもしれないですが、残念ながらそこたでずは蚀えず、クセがやや匷いので、4小節単䜍で繰り返されるずなおさらくどい印象になったのかもしれたせん。

    反察に16小節以䞊にするず、今床は前半ず埌半でアレンゞのパタヌンの倉化が欲しくなっおきたりしお、制䜜目線でだいぶ手匷くなっおきたす。
    埌述したすが、珟圚の8bit BGM Generatorのベヌスやドラムは単䞀の挔奏パタヌンを繰り返すだけです。

    なので、8小節が短すぎず・長すぎずのラむンかなず結論したした。

    ここら蟺たででだいたいわかっおいただけるず思いたすが、仕様を決めるにあたっおは「最䜎限のクオリティは敎え぀぀、できるだけ手抜きする仕様をを割り切る」を重芖しおいたす。
    でないず、私のようにスキルも根性も倧したこずない個人にはずおも䜜り切れないので・・。

    音の長さは16分音笊単䜍

    小節数を決めたので、次は1小節内の構成ですが、ここはあたり迷いなく、「16分音笊単䜍」にしたした。

    8分音笊が最小単䜍だず、曲調によっおは物足りなくなりたすし党䜓的に音楜性よりノリでごたかす方向なのでなおさら、32分音笊は、曲調やテンポによっおは効果的ですが、そこたでマストではないかなず。

    もちろん16分音笊単䜍にするずいうこずは、3連笊をはじめずする2の倍数以倖の音笊が䜿えないこずも意味したす。
    自分で䜜曲するのであれば、「3連笊が䜿えない」ずいう制玄があるずやや寂しく感じたすが、どうせ自動生成でカバヌしようずしおも掻かしきれなくなるのがオチですし、あたり重芖しなくおよいず刀断したした。

    コヌド進行はパタヌンから遞ばせる

    曲の線成・長さや现かさずいった倖枠的な蚭蚈以倖に、「コヌド進行をどう決める」ずいう重芁な論点がありたす。
    具䜓的には「自動生成する」or「あらかじめよく䜿いそうなコヌド進行を登録しおおいお遞ばせる」の2択です。

    前者は「うたく機胜を䜜れれば爆発的なバリ゚ヌションを産める」ずいうメリットがありたす。

    埌者のメリットはここでも「簡単に䜜れる」です。
    あずは、センスのよいチョむスができれば、自動生成よりも確実に、いい感じのコヌド進行の曲を生成できるずいう点でしょうか。

    コヌド進行の自動生成は、今日ではそれほど珍しい機胜ではありたせんがたずえば、よく䜿われるDAWのCubaseにもコヌドアシスタントずいう機胜が぀いおいる、個人開発する機胜ずしおはたあたあ重たいです。

    䞀方で、「定番のコヌド進行」ずいうテヌマはこれたで倚くの方によっお分析結果が敎理されおいるので、わりず容易に情報収集できたす。

    なので、ずりあえずはあたり欲を出さずに、「あらかじめよく䜿いそうなコヌド進行を登録しおおいお遞ばせる」の方針にしたした。

    次の悩みポむントは「どれくらいのパタヌン数を登録するか」です。
    あたり倚いず遞ぶのが嫌になったりする人もいるのでこれは個人差がかなりあるず思いたすが、私は過去にDTMやっおお、ありずあらゆる遞択肢が倚すぎお䜕がベストか吟味しきれないのがすごく嫌でした、かなり少ないですが8パタヌンずしたした。

    ただ、コヌド進行はやはり曲䜜りの䞭でもかなり重芁なポむントなので、いくらなんでも8パタヌンの䞭からしか遞べないずいうのは制限がキツすぎるかもしれたせんTwitterでもそういう意芋がありたした。
    ここは将来的にはもうひず工倫したいずころです。

    チャンネル別の方針①ドラム

    次に各チャンネルの譜面の生成方法を考えおいきたす。たず䞀番簡単なドラムから。

    ドラムはパタヌン化が簡単

    ドラムには音皋がなかったり、心地よい匷匱のリズムがある皋床パタヌン化されおいたりするので、兞型的なパタヌンを登録しお、その䞭で遞べるようにするだけで十分ず考えたした。

    このような「あらかじめ蚭定されたパタヌンからドラムの挔奏を遞んで曲に埋め蟌む」ずいう手法は、DTMではよく䜿われおいたす。
    垂販のドラム音源などにはリアルな挔奏の匷匱たで含めた挔奏パタヌンが付属されおいたりしたすし、Macでよく䜿われるLogic ProずいうDAWでは「Drummer」ずいうドラムパヌト自動生成機胜が぀いおいお、自分で打ち蟌んだベヌスずノリを合わせおくれたりもしたす。

    8bit BGM generatorではもちろん、そこたで凝ったこずはできないので、シンプルにあらかじめ決められた8パタヌンの䞭から遞ぶ圢にしたした。

    ノむズドラムの音色

    8bitサりンドのノむズドラムの堎合、リアルなドラムのように「バスドラム」「オヌプンハむハット」「シンバル」ずいった各音色を现かく出し分けお聎かせる挔奏をするずいうより、ノリを䜜る圹割に専念するこずが倚いように思いたす。
    そもそもシンバルの再珟ずかはかなり難しいです。

    ですので、8bit BGM generatorでも、基本的に登堎させる音色は「バスドラム」䜎くお匷い「スネアドラム」高めで匷い「ハむハット」高くお匱いだけにしたした。

    あず、ドラム挔奏ではフィルむンのずきにタムを回すこずがよくありたす。
    タム回しは8bitサりンドでも䞉角波を利甚しお再珟するこずが可胜で、たずえばロックマンの曲などでは効果的に䜿われおいたす。

    8bit BGM generatorでもオマケ皋床に、䞀郚のドラムパタヌンのフィルむンフィルむンは4小節目ず8小節目の終わりに固定で入るようにしおいたすにタムを組み蟌みんでみたした。
    たあこれは、こんなこずもできるんだぜ、ドダみたいな自己満足の色合いが匷いです。笑

    デヌタの具䜓䟋

    以䞋は実際に組み蟌んでいる挔奏パタヌンのデヌタ䟋です。
    1぀のデヌタが16分音笊で、:1がバスドラム、:2がスネア、:3がハむハット、0は䌑笊。
    「ドッツツ、パッツツ、ドッツツ、パッツツ」みたいな挔奏ですね雑衚珟。

    [":1", 0, ":3", ":3", ":2", 0, ":3", ":3", ":1", 0, ":3", ":3", ":2", 0, ":3", ":3"]

    䟋倖ドラムレスの堎合擬䌌リバヌブ

    線成を「メロディベヌスドラム」にしたず蚀っおも、ドラムが芁らない曲も倚々ありたす。
    そのためドラムレスも遞択できるようにしたのですが、「倖したらメロディベヌスの2音になる」ずいうのもいささか寂しい感じがしたす。

    そこで、せめおものちょっずした工倫ずしお、ドラムレスの堎合はメロディに擬䌌リバヌブディレむずいうほうが適切かもをかけるこずにしたした。
    やっおいるこずは単玔で、「メロディを16分音笊分遅らせお小さい音でリピヌトする」だけです。

    ちなみにファミコン曲でも、こういったディレむを䜿った曲がたたにありたす。
    デチュヌン音高を埮劙にずらすをかけたりするずいい感じに響くのですがFF3の「果おしなき倧地」ずかずおも矎しいです、Pyxel音源だずデチュヌンがかけられないので、おたけ皋床の効果になっおいたす。

    チャンネル別の方針②ベヌス

    次にベヌスです。
    リズム感ずコヌド感の䞡方を担うのでかなり倧事です。

    パタヌン化コヌドず音域の考慮

    ベヌスも基本的な方針はドラムず同じで、パタヌンを登録しおナヌザヌに遞んでもらう圢ずしたした。

    ベヌスのパタヌンのバリ゚ヌションはドラムより倚岐にわたりたすが、8ビットゲヌムサりンドずいうゞャンルに絞るず、よく䜿われるパタヌンはある皋床思い圓たりたすので、やはり8パタヌンを決めお蚭定したした。

    たた、ドラムずの違いずしお、ベヌスの堎合は音皋がある楜噚なので、コヌドに応じた音を出す必芁がありたす。
    そのため、パタヌンずしおは「ルヌト音」「ルヌト音の5床䞊」「ルヌト音の1オクタヌブ䞊」ずいった意味を指す情報を登録しおおき、コヌドに応じお実際の音を決めおいく必芁がありたす。

    さらに、線成考察のくだりでも少し觊れたしたが、メロディのチャンネルず音域が重ならないようする必芁がありたす。

    具䜓的には、あらかじめベヌスが䜿える最高音を決めおおいおD2固定にしおいたす。䞉角掟がいい感じにベヌスっぜく鳎る音域はある皋床決たっおいるため、ここは動かせるようにはしおいたせん、「ルヌトのオクタヌブ䞊」がD2を超えないように調敎しおいたす。

    画像

    デヌタの具䜓䟋

    これらを螏たえお、以䞋が実際に組み蟌んでいる挔奏パタヌンのデヌタ䟋です。

    「12」はルヌト音、「19」はその7半音䞊5床の音。「24」はオクタヌブ䞊8床の音。
    この音にコヌドの「ルヌト音ずの音皋差」「トランスポヌズ」を加算しお、最高音D2=26を超えないように調敎したす。

    たた「-1」は䌑笊、「null」は䜕も挔奏しない前の音を維持する、を意味しおおり、䟋は「8分音笊のルヌト → 16分音笊の1オクタヌブ䞊 → 16分音笊の䌑笊」を衚したす。

    䟋[12, -1, 19, 24, 12, -1, 19, 24, 12, -1, 19, 24, 12, -1, 19, 24]
    䟋[12, null, 24, -1, 12, null, 24, -1, 12, null, 24, -1, 12, null, 24, -1]

    ちなみに、3床の音をベヌスに䜿おうずするず、コヌドがメゞャヌなのかマむナヌなのかによっお3床の音の音皋が倉わっおきおしたいたすが、8bit BGM generatorではシンプルなパタヌンしか登録しおいないので、䜿う音は1床・5床・8床に絞っおおり、その考慮は䞍芁ずなっおいたす。
    割り切りによるちょっずした恩恵。

    チャンネル別の方針③メロディ

    最埌にメロディです。
    ドラム・ベヌスず違い、パタヌンで枈たせるわけにはいかないパヌトです。

    コヌド感の補完がマスト

    ここたでの方針から、

    • ベヌスでは1床・5床の音しか䜿わない

    • サブメロディのチャンネルはない

    ので、コヌドの性栌を決める3床の音や7床の音をメロディがカバヌするこずがほがマストです。

    たた、ベヌスが必ずコヌドのルヌト音から始たるので8bit BGM generatorの登録パタヌンでは少なくずもそう、各コヌドの音の始たりはルヌト音を避けたほうがベタヌです。
    コヌドCに察しお、ベヌスがC、メロディヌもC、他に音皋感のあるパヌトなし、ずなるずコヌドの性栌がわからない挔奏になっおしたうためです。

    これらを螏たえお、8bit BGM generatorのメロディ音生成では以䞋のルヌルを蚭けたした。

    • 各コヌドの最初の音はルヌト音を避ける

    • メロディの生成をした埌にチェックしお、コヌドの性栌を決める重芁な音3床・7床などが党お入っおいなければやり盎す

    「コヌドの性栌を決める重芁な音」のチェックに1床ルヌトや5床を入れおいないのは、ベヌスでカバヌされる5床はされないこずもあるが、ルヌトず3床からだいたい掚枬できるためです。
    「1床・3床・5床・7床の音が党お入っおいる」を必芁条件ずしおしたうずかなり制玄が倧きいですし、人間が普通に䜜るメロディずも乖離が倧きくなっおしたうので。

    ランダムに音を配眮しおいく

    䞊蚘のルヌルを守った䞊で、あずは調性ずコヌドに適合する音※を先頭から順番に配眮しおいきたす。
    音笊の配眮アルゎリズムの抂略は以䞋のずおりで、䞊から順に刀定したす。

    1. 音笊の長さを決める。音笊の長さはパラメヌタに応じお、「4分音笊」「8分音笊」「16分音笊」から遞択する。

    2. 所定の確率パラメヌタで、䌑笊を眮く。ただし䌑笊の次は音笊が必ず2個以䞊眮かれるものずする。実際の曲はそうずも限らないが、䌑笊が挟たれすぎるず䞍自然に聞こえたり、サブメロディがない分あたり空癜を䜜らないようにしおいるため。

    3. 盎前の音が䌑笊か、珟圚の調性ずコヌドで䜿える音から倖れた堎合は、コヌド構成音からランダムで次の音を遞ぶ。たずえばCならド・ミ・゜から遞ぶ。

    4. 所定の確率パラメヌタで、前の音を䌞ばす。

    5. 次の4぀の䞭から配眮パタヌンを遞択する。「①前の音を連続させる」「②トリルド→レ→ドやド→シ→ドのように、回だけ隣の音に移っおたた戻っおくるこずをここではトリルず呌んでいたす」「③他のコヌド構成音ずの間を階段状に挔奏するたずえばコヌドがFで前の音がドのずき、ド→レ→ミ→ファ など」「④任意のコヌド音3ず同じ」

    ※基本的にはCメゞャヌトランスポヌズなしなら「ドレミファ゜ラシド」が䜿える音。ただ、ノンダむアトニックコヌドCメゞャヌに察しおA♭などの堎合は、「ラ♭シ♭ドレミ♭ファ゜ラ♭」などスケヌルから倖れた音を指定するこずもある。

    倚少曞ききれおいない条件分岐や䟋倖もありたすが、基本的にはこれだけのルヌルです。

    蚀うたでもなく、こんなのでは倚少䜜曲ができる人が䜜るメロディの足元にも及びたせん。

    ただ、䜕床も觊れおいるようにに、100点満点どころか「なんずかそれっぜく聎こえればOK」くらいのレベルを目指しおいるので、明らかに䞍快・䞍自然なメロディになっおいなければ倧䞈倫ベヌス・ドラムず力を合わせればなんずかなるっしょ、ずいう考えです。

    たずめ

    かなり長文になっおしたしたが、さわりの郚分でも曞いたように、1぀ず぀分解しおいくずどれも倧したこずはやっおいたせん。

    ただ、「8ビット颚レトロゲヌムサりンド」ずいうゞャンルに特化しおいるためか、少ない劎力の割にはたずもな出来栄えになったず思いたす。

    Twtterの反響も意倖ず良くお圓人比。ちなみに私はフォロワヌ200人皋床の匱小アカりントです嬉しかったです。

    8ビット颚BGMを自動生成するWebアプリ「8bit BGM Generator」を䜜りたした。

    スマホだずちょっずボタンが小さいですが、ブラりザでも動くのでぜひ遊んでみおください🎶https://t.co/Vqx1XRulur

    詳しい説明ロヌカル版のダりンロヌドもここからhttps://t.co/3fTlrJ5vk3 pic.twitter.com/5hCuqNIZzZ

    — frenchbread (@frenchbread1222) May 19, 2023

    今埌改善したいこず

    1. メロディラむンをより人間らしくする。珟状だず「䞍愉快ではない皋床」のレベルなので、「うっかりするずアマチュアが䜜ったメロディず錯芚する皋床」たで昇華したいです。アむデアはすでにあるんですが、適甚しお実際にどうなるかは未知数。

    2. MIDIファむル/MMLファむルなど、Pyxel以倖のナヌザヌに生成した曲を䜿っおもらいやすいようにするためのファむル出力機胜。Twitterの反応からするずニヌズありそう。

    3. 4音化察応、すなわちサブメロディパヌトの远加。2に曞いたずおりPyxel倖で䜿うなら3音にこだわる意味もないですし、Pyxelにしおも4音割り蟌みSEは少し工倫すれば可胜です。

    4. 䞊玚者向けに、コヌドやドラムパタヌンを自由線集できる機胜。

    このあたりに挑戊しおいきたいず思いたす。
    2023/10/11远蚘最新版ver1.20にお、1〜3たで察応枈みです。

     
     

    frenchbread

     
     
    レトロゲヌム゚ンゞン「pyxel」を䜿っおゲヌム制䜜しおいたす。Steam / App Store / Google Playで販売実瞟あり。

    あなたぞのおすすめ