LLM-jp-4いいよねという話
Xからの転記である。
はじめに
少し前に国立情報学研究所(NII)を中心とするLLM-jpコミュニティからLLM-jp-4がリリースされた。ここ数週間色々なモデルを触っていたのだが、 LLM-jp-4はとてもよいモデルだなという印象を持ったし、非常に意義のあるプロジェクトだなと感じている。
本邦の研究動向に疎かった私は今回はじめてLLM-jpについてきちんと調べた。多くの研究者/エンジニアの方が関わる日本最大級のオープンソース LLM プロジェクトで、学習データの組成を細かく公開し、CookbookをGitHub で整備し、一部はApache 2.0で配っているようである。（個人的にもCookbookなければそもそもvLLM経由でうまく動かす方法をみつけるだけで時間が延々と経過していた気もする。。）
ここまで透明なプロジェクトはあまりなく、世界的に見てもAI2のOLMoといったProjectと同じ方向性なのだと思う。公開情報で見えるだけでも多くの方々が動いている。
使用感
自分でvLLM経由で呼び出してPromptを渡してみた感じだと、私の印象は以下の通りである。
日本語で問いかけられた文脈を理解し、適切な日本語を出力する能力に関してはGPT-4oやClaude Sonnetといった大型の中位フロンティアモデルに引けを取らない。これはパラメータサイズを考えると驚異的な性能だと思う
私の最近のお気に入りであるGemmaの同世代シリーズとサイズ・パフォーマンス的に似ている。世界トップクラスの資本力および技術力を持つGoogleが作ったモデルと、国内の研究プロジェクトが（日本語というフィールドではあるが）互角に戦えているというのは純粋に凄い
実際、日本語 MT-Bench の公表スコアでもLLM-jp-4 8B が 7.54 / GPT-4o が 7.29、さらに 32B-A3B(アクティブ 3.8B) は7.82のようである。8Bや3.8B アクティブのMoEがGPT-4oを上回る、というのはサイズを考えると相当に驚くべき結果である (もちろんベンチマークにはベンチマークが測れるもの測れないものがあるものの、傾向として当該モデルが素晴らしいということを否定するのは難しいだろう)。
LLMは徹底的に英語Corpus Dominantである
現代のLLM は、圧倒的に英語に偏ったコーパスで学習されている。これは個人的な体験でもそうだし、ある程度公開されている数字からもそう推測することができる。参考までにMetaのLlama 3は公式発表で 非英語データが全体の5%強、つまり英語が95%近くを占めている計算になる(多言語化に特別な強みのあるモデルではないとはいえ)。いかに英語のCorpusが大きなウェイトを占めているかがわかると思う。大量の学習データが要求されるLLMの事前学習では、質の高い文章が大量に手に入る英語を学習の中心に据える以外の選択肢は現状なく、それ以外の言語はポストトレーニングなどで薄く被せられる言語として扱われているのが現実なのだと私は思う。
私がLLM-jp-4でおもしろいと感じたところは、3.5%前後とはいえ、700Bトークン規模の日本語を学習用に用意していて、かつ、どうやらサンプリング時にオーバーサンプリングするかして事前学習におけるシェアを15.9%まで引き上げているらしい点である（オーバーサンプリングしているのでは、という部分は
さんのXでのPostと公開されているCorpus情報からの私の推測なので間違ってたらごめんなさい）。あと当該モデルはscratch trainingで、continual pre-training ではない。このあたりのこだわりが、MT-Bench JA 7.82(GPT-4oの7.29超え)という結果に効いているのだとすると、非常に興味深い。
国産LLMの意義
LLM-jp-4を見て思ったのだが、こういった形での国産LLMはどんどんやれたらよいと思うし、研究資源も十分に投入されるべきであろう。もちろん、GPTやClaudeの日本語能力は高い。だがここまで透明性のある形で、かつ、小さなパラメータサイズでこれだけ日本語能力の高いモデルが存在する意義は日本のAI業界にとってとても大きいと私は思っている。
日本語データに対する知見を国内で積み上げる意味
これが最も重要な論点であると私は思っている。Post Trainingはもちろん大事だが、Pre Trainingはモデルの表現力や理解力に大きな影響を及ぼす。更にいうとオープンモデルなら、自社が持っている(あるいはライセンスできる)日本語コーパスを足して継続事前学習(continued pretraining)することで上限を上げることも理論的には可能なはずである。
日本語ではそもそもデジタル化された高品質なコーパスの存在そのものが希少で、しかも断片的にしか流通していない。従ってフロンティアモデルでもよく聞くような日本語の法務は弱いみたいな問題に遭遇しても、Post Trainingでの改善に止まるし、パフォーマンスが上がってこない時のDebugが難しい。LLM-jp-4のようなオープンベースがあれば、そのドメインのコーパスを持っている組織自分たちの言を事前学習レベルで足せるしDebugもしやすい、ということになる。
逆に言えばSFTで日本語化すればいいというよく聞く発想は、事前学習レベルで解決すべき問題がある可能性を見逃しているのではないかと思う。オープンに出された組成を見て自分で判断できるのは、エンジニアリング上の自由度が桁違いであり、非常に大きな意味があると私は思う。
実際に大規模LLMを作った経験を持つ人間が国内に増えることの意味
若干のポジショントークになるが、大規模LLMのfoundationalな研究・開発に実際に手を動かして関わった経験の価値はあると思っている。私は以前MetaでLlama関連の仕事をやっていたが(尚、コアの研究者ではない)。それでも、数万GPUクラスの学習が実際にどう動いているか、どこで問題が発生しやすいか、みたいなものは、ある程度感覚として学ぶことができた。これはとてもよい経験をさせてもらったと思っているし、なんとなく物事の裏側のようなものが想像できるようになって単純に楽しい。
日本国内で、生成AI/LLMのfoundational researchにフルコミットできる規模の場は、米国に比べるとおそらく少ないだろう。LLM-jp-4のようなプロジェクトは、次世代の研究者・エンジニアを育成する上で非常に貴重な機会だと私は思うし、日本のAI競争力に直結する話である。本邦でどういった文脈でAIが語られているのかわからないが、AIは国家戦略的な技術であると私は思っているし、単純に外から買えばよいというものではない。少なくとも国内に作る経験と作り続ける能力がある状態があるのがおそらく好ましいだろう。LLM-jpはまさにその能力を作っている。
Cookbook・学習レシピ・評価パイプラインの公開
これはLLM-jpのすごいところで必ずしも国産LLMという議論ではないがCookbookをGitHubで整備してレシピが書かれている。これは
Continued pretrainingなどのちのプロセスの参考になる
知見が国内に蓄積する
というような意味で、非常に意義深い。モデルは使ってもらってなんぼであるし、そういう意図が見えるのは一ユーザーとしてとても好感がもてる。
ちなみに海外では
補足しておくと、オープンなLLMという文脈だと、私の暮らすシアトルは、AI2(Allen Institute for AI)のお膝元であり、OLMo関連のProjectでは極めて透明性の高い形で、weights、学習データ(Dolma)、学習コード、途中のcheckpoint、評価コードまで全部公開されている。実験結果もWeights and BiasesのDashboardで見れたりする。すごい。こういったProjectができる研究資源をもっている国は少なく、日本が頑張っているという事実は高く評価すべきだろう。
おわりに
冒頭にも書いた通り、LLM-jp-4は多くの人が参加するコミュニティによる極めてオープンな研究プロジェクトである。学習データの組成を詳細に公開し、Cookbookや公式ブログで挙動を丁寧に説明している。データがモデルの上限を決める以上、オープンなベース × 各組織が持つドメインデータという組み合わせが、AI応用の次のフロンティアになると思う(というか既になりつつあるというか、多くのAI企業はこの部分を見ていると思う)。自分で少し手を動かしてみるのもよいかもしれないとこれを書きながら思っている。
(記述にはできる限りの正確性を期したつもりではあるが、もし本稿の解釈に誤りや、公開情報で補足できる点があればぜひ教えていただきたい)
