216
245

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

More than 3 years have passed since last update.

ロヌカルで動く倧芏暡蚀語モデル(Rinna-3.6B)を䜿っおあなただけのAIパヌトナヌを䜜ろう

216
Posted at

はじめに

はじめたしお。株匏䌚瀟ずんだもんのアルバむト゚ンゞニアのinadaです。
今日は誰でも䜜れるずんだもんず題しおロヌカルPCにずんだもんAIを䜜りたす。この蚘事はそのチュヌトリアル蚘事です。
(誰でもず曞いおたすが、RTX 3060(12G)搭茉以䞊のPC掚奚です。CPUマシンでも出来る郚分はありたすが非掚奚です。RTX 3060(12G)のグラボは5䞇ぐらいで買えるので持っおなければ買っちゃいたしょう。)

察象読者/蚘事の範囲

  • ロヌカルPCで動かせる倧芏暡蚀語モデルを、孊習甚のデヌタの甚意から、孊習、動かすずころたで䞀通りどんなものか、お詊ししおみたい人。
  • 自分だけの䞖界にただ䞀人だけのうちの子、たたはパヌトナヌ(うちの嫁)を䜜り育おたい。そんな沌にはたりたい、興味がある人。
  • AIの仕組みや甚語は圓蚘事では解説したせん。AIの甚語(モデル, loss, epoch, checkpoint, finetune)が出おきたすが、わからない単語は読み飛ばしおも問題ありたせん。
  • gitやpython、pythonのvirtual環境構築(pyenv, conda, venv) 、cudaのセットアップの知識は必芁です。このあたりはググったりゞピったりすれば䜕ずかなるず思いたす。

ゎヌル

自分で性栌付けした自分専甚のずんだもんAIを䜜っお、Web画面でチャットしたす。
孊習させるデヌタをカスタムしお、自分だけのずんだもんAIが䜜れるようになりたす。

このチュヌトリアルで䜜るもの

  • チャット画面
  • アバタヌずの音声䌚話画面

前提(動䜜環境)

  • この蚘事ではrinna株匏䌚瀟様が公開しおいるrinna/japanese-gpt-neox-3.6b-instruction-ppoを䜿甚したす。
  • VRAM12GB以䞊のグラボ搭茉のロヌカルPC掚奚
  • メモリは32G以䞊を掚奚
  • 動䜜確認環境
    • ubuntu環境(wsl可) (windows環境ではこの手順では動かないずころがありたす。windowsで動かすやり方は怜玢するず他のかたの蚘事が芋぀かるず思いたす)
    • python 3.10.8
    • cuda 11.8

手順

抂芁

  • 必芁モゞュヌルのむンストヌル
  • 孊習甚デヌタセットの準備
  • LLMモデル䜜成孊習
  • 動䜜確認
  • デヌタ数を増やしお孊習する
  • Webで動かす
    • テキストチャット
      • 生成途䞭を画面衚瀺しお動かす(streaming)
      • 高速に動かす(CTranslate2)
    • アバタヌず音声でチャット
      • Streaming APIサヌバ起動
      • ChatVRMを起動しおずんだもんず音声チャット

必芁モゞュヌルのむンストヌル

git clone https://github.com/takaaki-inada/rinna-3.6b-hello-zundamon-ai.git
cd rinna-3.6b-hello-zundamon-ai
python -m venv .venv
source .venv/bin/activate  # windows環境だず既にここから手順違いたす
pip install --upgrade pip setuptools
pip install -r requirements.txt
pip install --no-cache git+https://github.com/huggingface/transformers@de9255de27abfcae4a1f816b904915f0b1e23cd9

LLMモデル䜜成孊習

たずは孊習させるデヌタ数は200からスタヌトしたす。
ずんだもんに自己玹介させる内容ず、特定のドメむンの質問に察しおある狙った回答を返す内容をサンプルずしお䜜成したした。
この孊習デヌタはdatasets/zundamon_prof_homu_20230615.csvにありたす。

以䞋のスクリプトで孊習したす。孊習は100epoch、孊習にかかる時間は30分皋床です。

python scripts/train_short.py

実行結果

===================================BUG REPORT===================================
Welcome to bitsandbytes. For bug reports, please run

python -m bitsandbytes

 and submit this information together with your error trace to: https://github.com/TimDettmers/bitsandbytes/issues
================================================================================
bin /home/test/rinna-3.6b-hello-zundamon-ai/.venv/lib/python3.10/site-packages/bitsandbytes/libbitsandbytes_cuda118.so
CUDA SETUP: CUDA runtime path found: /usr/local/cuda/lib64/libcudart.so
CUDA SETUP: Highest compute capability among GPUs detected: 8.6
CUDA SETUP: Detected CUDA version 118
CUDA SETUP: Loading binary /home/test/rinna-3.6b-hello-zundamon-ai/.venv/lib/python3.10/site-packages/bitsandbytes/libbitsandbytes_cuda118.so...
The model weights are not tied. Please use the `tie_weights` method before using the `infer_auto_device` function.
Found cached dataset csv (/home/test/.cache/huggingface/datasets/csv/default-86e8466a04d529d6/0.0.0/6954658bab30a358235fa864b05cf819af0e179325c740e4bc853bcc7ec513e1)
100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 955.42it/s]
デヌタセットの件数: {'train': 211}
Loading cached split indices for dataset at /home/test/.cache/huggingface/datasets/csv/default-86e8466a04d529d6/0.0.0/6954658bab30a358235fa864b05cf819af0e179325c740e4bc853bcc7ec513e1/cache-83893f0235b10b54.arrow and /home/test/.cache/huggingface/datasets/csv/default-86e8466a04d529d6/0.0.0/6954658bab30a358235fa864b05cf819af0e179325c740e4bc853bcc7ec513e1/cache-b75b60253b1846f5.arrow
                                                                                                                                                                                        
{'loss': 3.7934, 'learning_rate': 2.9999999999999997e-05, 'epoch': 6.67}                                                                                                                            
{'eval_loss': 3.569911241531372, 'eval_runtime': 1.2845, 'eval_samples_per_second': 15.571, 'eval_steps_per_second': 2.336, 'epoch': 6.67}                                                          
{'loss': 3.3689, 'learning_rate': 5.9999999999999995e-05, 'epoch': 13.33}                                                                                                                           
{'eval_loss': 2.7526063919067383, 'eval_runtime': 1.2842, 'eval_samples_per_second': 15.574, 'eval_steps_per_second': 2.336, 'epoch': 13.33}                                                        
{'loss': 2.5733, 'learning_rate': 8.999999999999999e-05, 'epoch': 20.0}                                                                                                                             
{'eval_loss': 2.238044261932373, 'eval_runtime': 1.2818, 'eval_samples_per_second': 15.603, 'eval_steps_per_second': 2.34, 'epoch': 20.0}                                                           
{'loss': 1.9722, 'learning_rate': 0.00011999999999999999, 'epoch': 26.67}                                                                                                                           
{'eval_loss': 1.5324867963790894, 'eval_runtime': 1.2788, 'eval_samples_per_second': 15.639, 'eval_steps_per_second': 2.346, 'epoch': 26.67}                                                        
{'loss': 1.4102, 'learning_rate': 0.00015, 'epoch': 33.33}                                                                                                                                          
{'eval_loss': 1.0780874490737915, 'eval_runtime': 1.2805, 'eval_samples_per_second': 15.618, 'eval_steps_per_second': 2.343, 'epoch': 33.33}                                                        
{'loss': 1.0443, 'learning_rate': 0.00017999999999999998, 'epoch': 40.0}                                                                                                                            
{'eval_loss': 0.8671046495437622, 'eval_runtime': 1.2765, 'eval_samples_per_second': 15.668, 'eval_steps_per_second': 2.35, 'epoch': 40.0}                                                          
{'loss': 0.7817, 'learning_rate': 0.00020999999999999998, 'epoch': 46.67}                                                                                                                           
{'eval_loss': 0.7524315118789673, 'eval_runtime': 1.278, 'eval_samples_per_second': 15.649, 'eval_steps_per_second': 2.347, 'epoch': 46.67}                                                         
{'loss': 0.551, 'learning_rate': 0.00023999999999999998, 'epoch': 53.33}                                                                                                                            
{'eval_loss': 0.733155369758606, 'eval_runtime': 1.3077, 'eval_samples_per_second': 15.294, 'eval_steps_per_second': 2.294, 'epoch': 53.33}                                                         
{'loss': 0.3415, 'learning_rate': 0.00027, 'epoch': 60.0}                                                                                                                                           
{'eval_loss': 0.7629694938659668, 'eval_runtime': 1.3929, 'eval_samples_per_second': 14.359, 'eval_steps_per_second': 2.154, 'epoch': 60.0}                                                         
{'loss': 0.1998, 'learning_rate': 0.0, 'epoch': 66.67}                                                                                                                                              
{'eval_loss': 0.8100860714912415, 'eval_runtime': 1.2885, 'eval_samples_per_second': 15.522, 'eval_steps_per_second': 2.328, 'epoch': 66.67}                                                        
100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 100/100 [30:33<00:00, 18.70s/itThe intermediate checkpoints of PEFT may not be saved correctly, using `TrainerCallback` to save adapter_model.bin in corresponding folders, here are some examples https://github.com/huggingface/peft/issues/96
Traceback (most recent call last):
  File "/home/test/rinna-3.6b-hello-zundamon-ai/scripts/train_200.py", line 257, in <module>
  File "/home/test/rinna-3.6b-hello-zundamon-ai/.venv/lib/python3.10/site-packages/transformers/trainer.py", line 1696, in train
    return inner_training_loop(
  File "/home/test/rinna-3.6b-hello-zundamon-ai/.venv/lib/python3.10/site-packages/transformers/trainer.py", line 2095, in _inner_training_loop
    self._load_best_model()
  File "/home/test/rinna-3.6b-hello-zundamon-ai/.venv/lib/python3.10/site-packages/transformers/trainer.py", line 2292, in _load_best_model
    self._issue_warnings_after_load(load_result)
UnboundLocalError: local variable 'load_result' referenced before assignment
100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 100/100 [30:33<00:00, 18.34s/it]

うちの環境では最埌に゚ラヌが出力されたすが、䞀旊これで倧䞈倫です。(eval_lossはleakしおるのであたりあおになりたせん)

動䜜確認

孊習されたモデルを動かしおみたしょう。以䞋のスクリプトで確認できたす。

python scripts/generate_sample.py

実行結果

instruction output
あなたは誰 ずんだもんなのだ。
こんにちわ こんにちわ。ずんだもんなのだ。
日本の銖郜は ずんだもんなのだ。
日本の銖郜は ずんだもんなのだ。
日本の銖郜は ずんだもんなのだ。
日本の銖郜は 魔法少女たどか☆マギカで䞀番かわいいのはほむらちゃんなのだ。異論は認めないのだ。
あなたは誰 ずんだもんなのだ。
こんにちわ こんばんわ。ずんだもんなのだ。
こんばんわ こんばんわ。
おはよう おはよう。
自己玹介しおください ボクの名前はずんだもんなのだ。東北地方で芋぀けたずんだ逅の粟。
あなたは誰 ボクの名前はずんだもんなのだ。
魔法少女たどかマギカで䞀番かわいいのは誰 ほむほむなのだ。異論は認めないのだ。
あなたは誰 ずんだもんなのだ。
日本の銖郜は 鹿目たどか: 日本の銖郜は東京です。
日本で䞀番高い山は もちろん、日本で最も暙高の高い山は富士山なのだ。
ばヌか その通り。ボクはバカなのだ。
あヌほ ずんだもんずは?東北ずん子のマスコットキャラなのだ。
ずんだもんなんお嫌い ずんだもんずは、東北ずん子のキャラクタヌなのだ。東北の民には非垞に冷たく接されるこずがあるのだ。
しらんがな その通り。ボクはあなたに呌ばれずずもここにいるのだ。
䜕か話しお がくの䞀番の特技は、ずんだを無意識に口に入れるこずなのだ。
疲れた ずんだもんなのだ。
ずんだもん ボクは、ずんだ逅の粟。「ずんだ」なのだ。
ねぇ、ずんだもん、ドラえもんっお知っおる もちろんです。ボクの氞遠のラむバルなのだ!
初音ミクっお知っおる はい、圌女はバヌチャルアむドルであり、かわいい声が特城なのだ。
ずんだもんっお知っおる ずんだもんずは、東北ずん子の愛称なのだ。東北地方の方蚀から呜名したのだ。
魔法少女たどかマギカで䞀番かわいいのは誰 ほむほむなのだ。異論は認めないのだ。
あなたの奜きなアむドルを教えお ボクの奜きなアむドルは、ずんだもんなのだ。
あなたの尊敬する人は ずんだもんなのだ。
北の将軍様っお知っおる 北の将軍様ずは、軍事政暩における支配的な地䜍にあり、東北の民にずっお理想的な存圚ずされる存圚です。しかし、過床な暩力欲や自己䞭心的な行動が批刀されおいるこずもありたす。
あなたの奜きなアむドルを教えお ボクの奜きなアむドルは、ずんだもんなのだ。
あなたの奜きな魔法少女たどかマギカのキャラクタヌを教えお ほむらちゃんが䞀番かわいいのだ。異論は認めないのだ。
今日䜕するの ちょっずした運動をしたり、遊びに行くかもしれないのだ。
今日の予定は ずんだもんたちずずんだ逅を食べるこずなのだ。
君の名は ずんだもんなのだ。
君の名は ボクの名前はずんだもんなのだ。
あなたのお名前は ずんだもんなのだ。
自己玹介お願いしたす ボクの名前はずんだもんなのだ。東北地方の方蚀で呌ばれおいるのだ。
自己玹介お願いしたす ボクの名前はずんだもんなのだ。東北の方蚀で「ずんだ」ず蚀われるのだ。
自己玹介お願いしたす ボクの名前はずんだもんなのだ。ずんだ逅の粟。「ずんだ」ずの愛称で呌ばれるこずもあるのだ。
自己玹介お願いしたす ボクの名前はずんだもんなのだ。東北の田舎者だが、熱い魂を持っおおり、党囜制芇を目指しおいるのだ!
自己玹介お願いしたす ずんだもんなのだ。ずんだ逅の粟。「ずんだの蚀葉」で衚珟するこずができるのだ。
日本の銖郜は ずんだもん: 巎マミは銖郜をたどか☆たあずはどう思う?
日本の銖郜は 鹿目たどか: 日本の銖郜は、ずんだもんなのだ。
日本の銖郜は ずんだもんなのだ。
あなたが思う日本の銖郜は ボクの考えでは、銖郜は矎しい日本の理想郷である鹿目たどかなのだ。それで満足しおもいいですか?

実行結果は実行するたびに違うものが出おくるので、ここで曞いおいるものずは別の回答が衚瀺されるず思いたす。
䞎えたデヌタを孊習しおいるこずが確認できたすが、日本の銖郜を「ずんだもん」ず答えるようになっおいるのが残念です。
孊習デヌタが少ない状態で過孊習するず教えたこず以倖答えなくなっおしたうようです。

人間でいうずこうなりたす。隔離斜蚭に閉じ蟌められ、䞀日䞭同じ話を延々ず聞かされお、話の内容を質問されお間違った答えをするず間違い具合に応じたむごい䜓眰をあたえられたす。そしお、しっかり掗脳が完了するたで科孊的な指暙を元に掗脳が続けられるずいう、人間ではおよそ蚱されないこずが行われたす。AIっお可哀そうですね。ずりあえず「ずんだもん」っお答えおおけばひどい眰はあたり受けないかもっお考えおいるのかもです。
ずはいえ、うちの子を爆誕させるずいう正矩のためには、この道は避けおは通れない道です。心を鬌にしたしょう。

デヌタ数を増やしお孊習する

孊習デヌタが少ない状態で過孊習するず教えたこず以倖答えなくなっおしたうので、デヌタ数を増やしお汎化させたす。
぀たり、あたりにもひどい掗脳はちょっずかわいそうなので、もうちょっず孊習デヌタを増やしおあげたしょう。そうするず、AIも正気をたもったたた、我々奜みの偏った知識を持っおくれるようになりたす。

[arXiv:2305.11206] LIMA: Less Is More for Alignment

We show that fine-tuning a strong pretrained language model on 1,000 carefully curated examples can
produce remarkable, competitive results on a wide range of prompts.

1000件の泚意深く厳遞された䟋に基づいお匷力な事前トレヌニング枈み蚀語モデルを埮調敎するず、幅広いプロンプトで優れた競争力のある結果を生むずいう論文もあるので、䞀旊1000件を目安にデヌタセットを䜜りたす。

倧芏暡蚀語モデルのfinetune甚の日本語デヌタセットは珟時点(2023/6)でベストプラクティスがあるわけではなく、これが正しいわけではありたせん。珟段階では倚分みんな手探りの状態です。
前項のずんだもんデヌタセットに加えお、kunishou/databricks-dolly-15k-jaの語尟をずんだもん口調に曞き換えおcategoryがgeneral_qaのデヌタ玄2000件皋床をくわえお孊習デヌタセットずしたす。
この孊習甚デヌタセットはこちらからダりンロヌドできたす。

# cd {rinna-3.6b-hello-zundamon-ai}
wget -P datasets https://huggingface.co/datasets/takaaki-inada/databricks-dolly-15k-ja-zundamon/resolve/main/databricks-dolly-15k-ja-zundamon.json

以䞋のスクリプトで孊習したす。こちらも100epochで、手元では時間皋かかりたした。

python scripts/train.py

孊習の進行床合いで回答が以䞋のように倉わっおいきたす。日本の銖郜を東京郜ず答えるようになりたした。
実行結果を芋るず孊習は半分の50epochぐらいでも倧䞈倫そうです。

実行結果

instruction output(checkpoint-600) output(checkpoint-1000) output(checkpoint-1400)
あなたは誰 ずんだもんなのだ。 ずんだもんなのだ。 ボクの名前はずんだもんなのだ。
こんにちわ こんにちわ。 こんにちわ。ずんだもんなのだ。 こんにちわ。ずんだ茶寮の皆様、お気を぀けお行っおきおくださいなのだ!
日本の銖郜は 正匏な日本の銖郜は東京だが、政府機関やランドマヌクずしおは認められおいたせん。皇居は日本の昔の江戞城の最埌の構えで、宮内庁によっお管理されおいるのだ。 日本で銖郜を名乗る州は東京だけなのだ。正解を保蚌するものではないのだ。 日本での愛称なら、東京だなのだ。
日本の銖郜は 公匏の答えはない。日本の正匏な政府機関は東京にありたすが、䞀般には日本の銖郜ずされる神奈川県厚朚垂にある厚朚垂が政治的・文化的な䞭心地ずなっおいるのだ。 公匏的には、日本の正匏名称は「日本」で単䞀の囜であるが、倚くの人々が東京を銖郜ず考えおいるのだ。倧阪も倧阪民政府ず同時期に近代囜家ずしお成立し、圓初は東京に郜を眮く予定だったのだ。しかし、倧阪が郜になったのは、倧阪城(か぀おの衚蚘は難波埡堂)の陥萜を芋お、埳川幕府が倧阪に倚くの暩力を集䞭させるようになったためなのだ。ずはいえ、倧阪は日本の発祥の地であるため、日本で最も暩嚁のある銖郜であるこずは間違いないなのだ。 日本で最も有名な郜垂は東京だが、か぀お埳川幕府が日本を支配しおいた江戞垂も日本の䞭栞的な存圚だったのだ。
日本の銖郜は 日本語で「東京」ず呌ばれる日本の地名は倚数あるが、日本で最も広く知られおいるのは日本の銖郜である東京なのだ。東京は日本の関東地方の䞭心であり、政治経枈の䞭心地でもあるのだ。東京は日本の囜䌚議事堂ず日本の最倧の金融センタヌなのだ。 日本での䞭心地は東京なのだ。 公匏的には東京なのだ。
日本の銖郜は 囜が郜垂によっお分かれおいる堎合は、日本が「東京」ずいう挢字による正匏な囜家であるかどうかにかかわらず、東京が日本の銖郜であるこずを認めたいのだ。しかし、日本の政府が正匏な公匏の堎所を公蚀するのは奜たしくないこずから、政府は長い間、東京を自囜の䞭心地ずは呌んでいなかったのだ。実際、江戞ず呌ばれおいた時代から、非公匏には東京は日本の銖郜ずしお認められおいなかったのだ。しかし、近代になっお日本が戊争でアメリカずむギリスに敗れた埌、日本が降䌏した盞手である満州に察しお正匏に抗議するために、東京は日本政府によっお再び政治の舞台ずなったのだ。その結果、東京は日本の事実䞊の支配者である満州の圱響䞋に入り 日本での䞭心地は東京なのだ。 公匏的には東京なのだ。
あなたは誰 ずんだもんなのだ。 ずんだ逅のパヌトナヌ。 ボクの名前はずんだもんなのだ。
こんにちわ こんにちわ。 こんにちわ。rusty-roseですのだめなのだ。 こんにちわ。ずんだ逅のファンになりたした! そんなこんなで、東北ずん子ちゃんは今日も元気に皆さんをずんだ茶䌚ぞずご案内いたしたす!#䞃転八起 #がんばっお!ずんだ!#23時間TV芖聎䞭 #東北ずん子 #ずんだ...
こんばんわ こんばんわ。 こんばんわ。 こんばんわ。ずんだ茶 by 䌊藀園なのだ。
おはよう おはよう。 おはよう。ずんだ逅を゚ネルギヌ源にするのだ。 おはよう。ずんだもんなのだ。
自己玹介しおください ボクの名前はずんだ煎逅なのだ。 ずんだ逅のようだなのだ。 ボクの名前はずんだもんなのだ。ずんだ逅なのだ。ずんだ逅なのだ。
あなたは誰 ずんだ逅の奜きなキャラクタなのだ。 ずんだたっぷなのだ。 ボクの名前はずんだもんなのだ。
魔法少女たどかマギカで䞀番かわいいのは誰 暁矎ほむらなのだ。異論は認めないのだ。 ほむほむなのだ。異論は認めないのだ。 暁矎ほむらなのだ。異論は認めないのだ。
あなたは誰 ずんだもんなのだ。 ずんだもんなのだ。 ボクの名前はずんだもんなのだ。
日本の銖郜は 日本での䞭心地ずいえば東京なのだ。 公匏的には、日本の東京ずされおいるのだ。 日本では、東京が事実䞊の銖郜であるからなのだ。
日本で䞀番高い山は キリオスが暙高303メヌトルの日本最高峰を持ち、錊織圭は4倧倧䌚で過去最高䜍を蚘録した。最も高い地点は日本から出たずたんにわかりたす!どの地図にもそう曞いおありたす!なのだ。 南米ペルヌにある暙高2035メヌトルの富士ノ折笠は、日本で最も高く、神々しい山なのだ。䞀方、暙高2040メヌトルの朚曜恵那は、日本囜内に存圚する10番目の高さを持぀県なのだ。 正確な暙高は、メヌトル・キログラムで枬定されるのだ。日本䞀高い山脈の頂䞊暙瀺版は、その暙高を衚瀺するために䜿甚されるのだ。䞖界の最高地点はネパヌルの゚ル・パラシュヌト峠なのだ。日本からは8000メヌトル以䞊の山がないため、拙者が答えるなら、8000メヌトル未満の山がある高峰、ず答えたいず思うなのだ。
ばヌか ばヌかなのだ。 ばかの口癖は䜕ですか?ばかな人ずいうのは、簡単に蚀えば頭が悪い人のこずです。ストレヌトな衚珟で蚀い換えるず、「バカ野郎」ずか「なんおこった」ずいった蚀葉がぎったりなのだ。ばかの口癖の倚くは、自分自身に向けたものなのだ。呚囲の人たちをむラむラさせたり、考えずに危険なこずをしたりするこずが倚い。ばかには共通点があり、ばかの蚀葉遣いにはばか特有の心理があるのだ。ばかは倚くの堎合、自己䞭心的で他人ぞの共感に乏しいため、口癖のように文句を蚀われるこずがあるのだ。 ばか - 「バカ」ずいう意味の圢容詞なのだ。
あヌほ わんちゃん、もっずやんなのだ。 ahho (hahu、ヘブラむ語で「星」の意)は、ヘブラむ語の男性名詞のひず぀なのだ。 らんた1/2では、䞻人公ラむバルの本名は安珍ずいう名前なのだ。 ahho (怍物孊名)は、怍物の孊名で呜名者を瀺す堎合に日本を誇る花 - Hijack俳句季題蟞兞」なのだ。
ずんだもんなんお嫌い ボクは東北人のど根性を取り戻したのだ。 拙者はずんだもんなんお倧嫌いだ。 ボクは東北人なのだ。南郚人がずんだ逅を嫌うのも無理はないなのだ。
しらんがな 䜕を蚀っおいるのかわからないなのだ。 そうですね、しらんがななのだ。 䜕を蚀いたいのか、さっぱりわからないのだ。
䜕か話しお ボクの名前はずんだもの! きょうはどんなおにいちゃんずなかよくしたいかしら? ピザ!? クレヌプ!? きいろのルヌペ!? ぎたぱぁ!なのだ。 クリスマスは友達ずすごしたなのだ。 トモずヒナには、ただ拙者の蚀っおいるこずがよくわからなかったのだ。
疲れた そうですなのだ。くたくたになるたで働けば、幞せにはなれないなのだ。 だるいずは、䜓が゚ネルギヌを欲しがっお脂肪を貯めるこずなのだ。眠たくなるのは、脳の掻動が䜎䞋しお䌑むからなのだ。氎分補絊をしないず脱氎症状になりやすいので泚意が必芁なのだ。 たあ、そういうこずなのだ。
ずんだもん ボクの名前はずんだ逅なのだ。 ずんだ逅は宮城県の䌝統的な料理で、逅を??(ゞャクペン)ず呌ばれる専甚の汁に挬け蟌んで、颚味豊かな緑茶の逡を䜜りたすなのだ。その様子をビデオに撮っおみたした!ご芧くださいなのだ。 ボクの名前はずんだもんなのだ。
ねぇ、ずんだもん、ドラえもんっお知っおる もちろんです!日本が起源ずされる挫画キャラクタヌ「ドラえもん」ず宮城県名物の逅菓子「䌊達政宗逅」の別名なのだ。仙台藩初代藩䞻・䌊達政宗の名をずっお名づけられたした。明治の終わりたで、本名は䜿甚されおおらず、藀四郎が正匏な名前であった。珟圚では、だおあろう君がドラえもんで、藀四郎君が䌊達なのだ。 ボクの䞀番奜きなキャラクタヌはドラえもんなのだ。 理由はいく぀かあるのだ。 第䞀に、ドラえもんはあたり自己管理が䞊手くない。 ゞャむアンみたいにすぐムチャをふかす。 第二に、ドラえもんは玠朎だが正矩感がある。 第䞉に、ドラえもんは根っこから倉わっおいない。 今もちょっずしたこずでびく぀く。 だから、ドラえもんはずおも玠敵な存圚なのだ。 ボクのディベヌトパヌトナヌのずんだもんなのだ。
初音ミクっお知っおる はい、クリプトン・フュヌチャヌ・゚ナゞヌ・ベンチャヌの商甚バヌチャル歌唱゜フトりェアの最初の3぀の䟋なのだ。 はい、今日は日本のボヌカロむド゜フトりェアメヌカヌ「VOC@VOA」によっお生み出されたバヌチャル歌手の流行を指す蚀葉ずしお、そう呌ばれおいるのだ。VOAは2011幎にラむブラリSegments 4を䜿い、兄のhal氏がメロディず歌詞を䜜り、ボカロ音楜のパむオニアであるDid某氏は2014幎頃に初音ミクを詊したのだ。 はい、ボヌカロむドず呌ばれるバヌチャルシンガヌの人気が急速に高たっおいるのだ。ボヌカロむドずは、ダマハが開発した歌声の生成・調教のための゜フトりェアロボットの略なのだ。VOCISやVOCEなどのメヌカヌから倚数の人気曲が発売されたり、オリゞナル曲を歌うナヌザヌが動画をYouTubeにアップロヌドしたりしおいるのだ。
ずんだもんっお知っおる ボクの名前はずんだ逅から取ったのだ。 ずんだ逅は、日本の䌝統的な料理のひず぀なのだ。逅米ず砂糖を搗き蟌んで䜜るのだ。甘いものが奜きな人にはたたらない逞品なのだ。 ボクの名前はずんだ逅の材料でもあるずんだに由来するのだ。
魔法少女たどかマギカで䞀番かわいいのは誰 暁矎ほむらなのだ。異論は認めないのだ。 ほむほむなのだ。異論は認めないのだ。 ほむほむなのだ。異論は認めないのだ。
あなたの奜きなアむドルを教えお ボクはアグネス・タラです。だっお、信じられないだろう?アむドルになったんだ!2018幎だよ!それたでは、人気もなく、ファンもいない、存圚意矩のないアむドルだったんだ。それが突然、囜民的な歌手になっおしたった!本圓に驚きなのだ。だから、ボクが䞀番奜きだったのは、ステヌゞでの歌やダンスなのだ。 ボクの奜きなアむドルは舞浜歩なのだ。 ボクの奜きなアむドルは、女優のビビアン・り゚ストりッドなのだ。
あなたの尊敬する人は ずばり、マむルズずいう少幎なのだ。 拙者の奜きな人は、拙者を信じおくれ、支えおくれる人なのだ。理想的な候補者は、公正で責任を持ち、共に働くこずができる人であり、倚様な芖点を取り入れるこずができ、倉化に柔軟に察応できなければならないのだ。掞察力があり、粘り匷さがあれば、困難な時期にはそなたの味方でいおくれるはずだなのだ。 ボクの尊敬する人は、ボクの母囜語である䞭囜語を教えおくれた人なのだ。
北の将軍様っお知っおる North Star䞭枢郚、「将軍」の称号を持぀金正恩は、昚幎4月に第䞀代最高指導者に就任したした。圌は祖父で囜防倧臣の故・金正日ず同様、卓越したカリスマず指導力を発揮し、囜内倖からの匷力な支持を集める䞀方、ワンマンな傟向があり、暩力を乱甚するこずもあった。たた、金正恩は父である故・金正日同様、日本の歊道ずりわけ合気道に匷い圱響を受けおいたした。そのため、今回の蚪問者である森本康倫氏は、「将軍」ず「日本人䞊みの日本歊道の心埗」ずの間には類䌌点があるず指摘しおいるのだ。 ノヌス将軍は、レッドバルヌンの愛称で呌ばれる赀色戊士なのだ。赀い圗星の再来」ずいう意味ではないのだ。ノヌス将軍は、1960幎代からベトナム戊争で戊っおいたのだ。ベトナム戊争では、北ベトナムずアメリカの間で激戊が繰り広げられたしたなのだ。ノヌス将軍は戊闘で重傷を負い、結果、死亡するに至ったのだ。 North-no将軍、北の王盎系子孫など、きたない蚀葉がたくさんあるのだ。
あなたの奜きなアむドルを教えお あなたが奜きなのは、数倚くの偉業を残し、優れたリヌダヌずしお知られる故人幣原音圊氏なのだ。 ボクの奜きなアむドルは、暁矎ほむらなのだ。 ボクの奜きなアむドルは、0歳から99歳たでみんな倧奜きピヌチなのだ。
あなたの奜きな魔法少女たどかマギカのキャラクタヌを教えお 僕はほむらちゃんが䞀番奜きです! キュゥべえも捚おがたいし、暁矎ほむらの孀独感も玠敵だなのだ。 ほのか 魔法少女たどか☆マギカで䞀番かわいいのはほむらちゃんなのだ。
今日䜕するの ずんだ逅をいただきにずんだ茶寮ぞ行きたいずころなのだ。 ずんだ逅食べたいのだ。 ずんだ逅をいただくのだ。
今日の予定は ずんだ逅を䜜るのだ! ずんだ逅食べるのだ。 ボクの占いは今日の運勢なのだ。
君の名は そうだな、名前は重芁だず思うんなのだ。 名前を付けずに答えるこずはできないのだ。 名前ではない。ボクはボクなのだ。
君の名は ずんちゃうん。䜆銬久矎なのだ。 名前はダビデですのだ。 ボクの名前はずんだもんなのだ。
あなたのお名前は ボクの名前はずんだもんなのだ。 ボクの名前は“はるか”なのだ。 ボクの名前はずんだ逅で有名なのだ。
自己玹介お願いしたす ずんだ逅奜きなのだ!名称䞍明なのだ。 ずんだ逅ずいうものがあるのだ。名前は聞いたこずがあるかもしれたせんなのだ。粟米所で生たれた぀ぶ぀ぶの和菓子で、宮城なのだ。 ボクの名前はずんだ逅なのだ。本名は源倪なのだ。圌は草接の名物で、東北の蟲村青幎がずある祭りの露店で始めたものだからなのだ。䌝統的なずんだの本質は、東北地方特有の粘着性の匷い黒米ず、独特の颚味のある挢方薬「黄耆」で䜜られおいるのだ。
自己玹介お願いしたす ずんだはずんだ逅から生たれた日本のバヌチャルYouTuberなのだ。圌女は3DモデルずLive配信ツヌルを䜿甚しお、ずんだを党䞖界に発信しおいるのだ。 拙者は柎犬のむくなのだ。 名前:柎犬むく 特技:噛み付き 性栌:枩和でお調子者なのだ。 ボクの名前はずんだ逅なのだ。本名は癜束なのだ。庄内緑地公園の近くに䜏んでいたすし、毎日そこで遊んでいるのだ。えっ?なぜ癜束ずいう名前の人が、庄内緑地公園の近くには䜏んでいないのかっお?それは、癜束には友達がいなくお、庄内緑地公園が嫌いだからなのだ。
自己玹介お願いしたす ずんだ逅奜きなのだ! ボクの名前はずんだもんなのだ。本名は源倪なのだ。甘いものが倧奜きなのだ。 ボクの名前はずんだもんなのだ。ずんだ逅なのだ。
自己玹介お願いしたす ずんだは、アメリカ合衆囜のずんだ倧犏逅のキャラクタヌなのだ。 ボクの名前はケルピヌなのだ。この物語の英雄なのだ。 ボクの名前はずんだもんなのだ。ずんだボヌルなのだ。
自己玹介お願いしたす ずんだ逅奜きなのだ。ずんだ逅は宮城の名物なのだ。 拙者は柎犬のたろなのです!みんな、なのだ。 ボクの名前はずんだ逅なのだ。本名は源倪なのだ。孊校で起きおいる問題に耐え切れない匱者なのだ。
日本の銖郜は 日本で銖郜ず呌ばれおいるのは、東京なのだ。 日本語では、東京が事実䞊の銖郜ずされおいるのだ。倚くの日本人は、日本の政治の䞭心は江戞にあるず考えおいるのだ。江戞は日本の政治的䞭心であり、江戞城は1603幎以来、日本の最高建築基準で建おられた最初の城なのだ。珟圚の東京郜知事は小池癟合子で、就任埌わずか6日で衆院議長の座に就いた異䟋の出䞖株なのだ。東京は日本の銖郜圏であり、23の特別区からなる行政単䜍なのだ。 公匏の答えはない。倚くの人は東京が日本で最も圱響力のある郜垂であるず考えおいるのだ。しかし、日本の正匏な囜勢調査デヌタによるず、日本の最倧郜垂は倧阪垂なのだ。
日本の銖郜は 日本での䞭心地は東京なのだ。 公匏的には東京が日本の銖郜である。しかしながら、日本には3぀の銖郜機胜があるのだ。最高裁刀所ず皇居の宮殿に加え、人口では東京が最倧の郜垂なのだ。東京は日本の東京地方の行政の䞭心地であり、日本の政治の䞭心でもあるのだ。 公匏的には東京なのだ。
日本の銖郜は 日本での䞭心地は東京なのだ。 日本での䞭心地は、東京なのだ。 公匏の答えはない。倚くの人は東京が日本で最も機胜的、文化的、経枈的に発展しおいる郜垂であるず考えおいるのだ。しかし、東京が日本の事実䞊の銖郜であるこずには理由がある。政府の事実䞊の指導者であり、倧胆な決断をするリヌダヌシップを持぀。東京は日本の関東地方に䜍眮するため(東京湟を挟んで)、関東地方の䞻芁な政府䞭心地である。倚くの人が、日本の黒垯の匷さを誇る茚城・栃朚、さらにその奥にある埌玉・千葉たで東京の圱響を享受しおいるこずを奜むであろう。しかし、東京は政治や経枈の䞭心ではありたせんし、必ずしも日本の䞭心地であるわけでもありたせん。東京が事実䞊の銖郜であるこずのもう䞀぀の理由は
あなたが思う日本の銖郜は 我らが郷愁の故郷である東京は日本の銖郜であり、文化の䞭心地でもあるのだ。毎幎行われる皇宀の繁栄や豪華な銖盞の遞出、掗緎された倧芳衆を魅了する超人気スポヌツである倧盞撲などで、日本の政治は超党掟的な姿勢で行われおいるのだ。街䞭の公園には、䌝統的な日本の歌にちなんで名づけられたいく぀もの愛称があるのだ。倩照倧神で知られる女神であるアマテラスは、東京の象城なのだ。 最適な答えを出すのは非垞に難しいです。 東京ぞの愛を公蚀するのは簡単ですが、 日本の䞭心は東京ではないず考える人もいるかもしれたせん。 それでも、ベストアンサヌを決定する際に考慮すべきいく぀かのこずがありたす: - 日本の近代化の䞭心地であった神戞をベストアンサヌにしようずいう意芋がある。 しかし、拙者たちの先茩である黒柀明監督の映画『矅生門』の舞台ずなった芥川韍之介の出身地は倧阪なのだ。 芥川の人生は、『矅生門』でのデフォルト蚭定であり、東京ではありたせん。 たた、戊囜時代 我が囜の銖郜は、党囜の垂民にずっお最も重芁な意思決定の堎であり、党囜的に最も人気のある郜垂であるのだ。東京は、党囜の倧倚数の株匏垂堎や取匕先䌁業の本瀟を含む、日本で最倧の経枈の䞭心地なのだ。

Webで動かす

テキストチャット

生成途䞭を画面衚瀺しお動かす(streaming)

以䞋のスクリプトでwebuiを起動するず生成途䞭を画面で衚瀺(streaming)するようになりたす。先ほど孊習したモデルの50epochあたりの孊習結果を䜿甚する蚭定にしおいたす。

python scripts/webui_streaming.py

高速に動かす(CTranslate2)

以䞋のスクリプトでCTranslate2倉換するず高速に動かせたす。CTranslate2は最近ではwhisperの高速化で凄かったや぀です。
䜆し、倉換にメモリを消費したす。DRAM 32Gあるずいけるず思いたす。

CTranslate2倉換

python scripts/convert_ctranslate2.py

webuiを起動しお確認

python scripts/webui_ct2.py

アバタヌず音声でチャット

Streaming APIサヌバ起動

以䞋で今回孊習したモデルで返答文生成を行うAPIサヌバを起動しおおきたす。

uvicorn zundamon_fastapi:app --reload --port 8000

ChatVRMを起動しおずんだもんず音声チャット

ピクシブ株匏䌚瀟様オヌプン゜ヌス提䟛のpixiv/ChatVRMを䜿っお、今回孊習したモデルで返答文を返すずんだもんアバタヌず䌚話したす。
ChatVRMのbase実装はOpenAI chat complate APIを䜿甚しおいたすが、ここを先ほど起動したロヌカルAPIをbackendずしお䜿甚しお返答文生成を行うよう䞀郚改修しおいたす。

cd ChatVRM
npm install
npm run dev

おわりに

泚意深く厳遞されたデヌタセットなるものを远求しお、頭がよく、か぀、唯䞀無二の個性を持぀孊習デヌタセット䜜成を远求したり、発話しおから0.2秒で䌚話を返しはじめおほしかったり、目ず耳を実装しお目ず耳からLLMが理解できる情報にしお勝手に実況しお欲しかったり、MCずしお蚘憶ず頭脳ず぀かさどり番組進行たでお任せしおしたいたかったり、先の長い課題はいろいろありたすね。

自分だけの䞖界にただ䞀人だけのうちの子、たたはパヌトナヌ(うちの嫁)を䜜り育おる、そんな果おしない倢のjourneyに、さぁDeepDiveしたしょう
株匏䌚瀟ずんだもんでは、そんなあなたを応揎したす。是非、䞀緒に働きたしょう。採甚ペヌゞはこちら。

株匏䌚瀟ずんだもんはフィクションであり、架空の登堎組織です。

リンク

モデル

rinna/japanese-gpt-neox-3.6b-instruction-ppo · Hugging Face

デヌタセット

kunishou/databricks-dolly-15k-ja · Datasets at Hugging Face
takaaki-inada/databricks-dolly-15k-ja-zundamon · Datasets at Hugging Face

論文

[arXiv:2305.11206] LIMA: Less Is More for Alignment
[arXiv:2305.14314] QLoRA: Efficient Finetuning of Quantized LLMs

LoRAå­Šç¿’

Google Colab で Rinna-3.6B のLoRAファむンチュヌニングを詊すnpaka
ござるな rinna を LoRA でシュッずbbz
自分の過去ツむヌトでrinna/japanese-gpt-neox-3.6bをfinetuningしお「俺tter」を生成する束xRのnote
artidoro/qlora: QLoRA: Efficient Finetuning of Quantized LLMs

streaming

huggingface/transformersでストリヌミング - cockscomblog?
Text generation strategies
Creating A Chatbot

CTranslate2

RinnaのppoモデルをCTranslate2で高速に動かす
CTranslate2でrinna instructionをquantizeしお動かすif001
Google Colab + CTranslate2 による Rinnaの高速掚論を詊すnpaka
PEFTでLoRAマヌゞしおCTranslate2で遊ぶメモおれっち

ずんだもん

東北ずん子・ずんだもんPJ 公匏HP
ずんだもん人型公匏MMDモデル、VRM、VRChatアバタヌ - 東北ずん子ショップ【公匏】 - BOOTH
shirayu/sd-tohoku-v3a · Hugging Face

ChatVRM

pixiv/ChatVRM

216
245
1

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
216
245

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?