スパコンとAI：『富岳』と『語学』と『語岳』の語呂合わせ？

　以前、『効率的な技術開発の選択』シリーズで『ハードウェアに合わせるか、アルゴリズムに合わせるか』というテーマで記事を書きましたが、『富岳』の特性を考慮すると『富岳』のハードウェアに合わせた国産生成AI（ソフトウェア）の開発は困難な課題だといえます。

　若い読者を想定して説明すると『無理ゲーじゃね？　しらんけど』的な状態でした。但し、『無理ゲー』を非難しているわけではなく、『無理ゲーをクリアすること』が、ブレイクスルーになります。逆説的には、簡単な問題や一般常識の問題を解いても、ブレイクスルーにはなりません。

　以下の日刊工業新聞の報道では詳細は分かりませんが、機械学習モデル（ソフトウェアやアルゴリズム）に合わせてハードウェアを開発するアプローチになったようです。同時並行して様々なソフトウェアの開発も進めるはずですが、CPU重視からGPU重視に変わったというのが、一番分かり易い説明だと思います。

　イーロン・マスクのGPU買い占め問題は上の記事で説明していますが、TwitterはXに変更になりましたので、TruthGPTも何れは、xGPTになるかも知れません。マスクは2023年7月にネバダに『xAI社』を設立済みです。 

　地球上のことですら分からないことだらけで、哲学的には『意識』や『理解』や『真理（Truth）』の定義もできていないのに『宇宙を理解する』とは、どういう意味なのかすら『理解』できません。

　スーパーコンピュータは、『処理方式』や『構成方式』に基づいて以下のように分類することができます。

処理方式による分類：スカラー型、ベクトル型、SIMD型、MIMD型など
『SIMD型』は、単一の命令を複数のデータに対して同時に処理する方式です。NLP（自然言語処理）やLLM（大規模言語モデル）の分野では、大量のデータを高速に処理することが求められるため、SIMD型のスーパーコンピュータが適しています。
 
『MIMD型』は、複数の命令を複数のプロセッサで同時に処理する方式です。NLPやLLMの分野では、複雑な処理を並列処理で実行することが求められるため、MIMD型のスーパーコンピュータも適しています。

構成方式による分類：単一プロセッサ型、並列プロセッサ型、分散メモリ型、共有メモリ型、ハイブリッド型など

　また、GPUやAI専用のチップセットの最適化も非常に重要ですが、以下の記事の情報だけでは、理化学研究所が取り組もうとしているのが何型に相当するのか、判断が難しいところです。

　AIの種類は非常に多いので、一言でAIと説明されても、何のAIなのか理解できませんが、『富岳』と『語学』の語呂合わせのような『語岳』という名称から、NLPやLLMに特化したスーパーコンピュータだと思われます。
 
　筆者の見解としては、NLPやLLMに適している処理方式は『SIMD型』と『MIMD型』を組み合わせた『ハイブリッド型』で、構成方式は『分散メモリ型』が高性能を発揮すると思います。上に引用した日刊工業新聞の記事では、『富岳はCPUベース』で『語岳はGPUベース』となっていますが、理化学研究所の富岳のプレスリリースは、2023年6月21日で更新が止まっているので、まだ詳細を発表できる段階ではないのかも知れません。

　もしかすると、筆者の知らない『新型』ができるのかも知れないので、スペックの公式発表や評価結果の公表が楽しみです。

　日刊工業新聞の記事では『GPT-4』を意識した開発のようですが、NLPの機械学習モデルは、GPT（Generative Pre-trained Transformers）やBERT（Bidirectional Encoder Representations from Transformers）のTransformersだけでなく、様々な機械学習モデルやアルゴリズムがあります。

　2023年4月の時点で、OpenAIのアルトマンCEOも、Transformersの限界を認めており、現在、世界中のAI研究者が、Transformers以外の機械学習モデルやアルゴリズムや、MoE（Mixture-of-Experts）の開発に力を入れています。筆者がLLM（大規模言語モデル）という単語を好まず、NLP（自然言語処理）として説明することが多いのは、LLM的なアプローチは、既に時代遅れの発想だからです。GPT一点張りでAI開発を進めることは、戦艦大和と同じ失敗の繰り返しになりかねません。

　戦艦大和の何が失敗だったかについては諸説ありますが、宇宙戦艦ヤマトとして復活する可能性も否定できません。 

　ちなみに、MoE（Mixture-of-Experts）のエキスパートとは、例えば、Transformersは数学が苦手（数学以前の算数も苦手）なので、数学の部分は、数学の得意なAI（エキスパート＝専門家）に任せるような感じのアプローチです。

　MoEの開発で困難な部分は、『どの処理をどのエキスパートに任せて、どのようにしてその計算結果を取りまとめるか？』という人間のプロジェクトマネジメントのような困難さがあります。

　MoEの最適化自体が非常にホットな分野なので、日本のAI研究・開発の専門家は、Transformers一点張りで物事を考えるのは、逆に時代遅れのAIやスパコンを作ってしまう可能性が高いと思います。 

　これって、わたしの感想ですよね。