学習データを増やしても性能向上しない「データの収穫逓減」の危機
現在、生成AIの開発現場は、かつてないパラダイムシフトの瀬戸際に立たされている。これまで「より強力なGPU」を使用すれば、モデルの性能は比例して向上していた法則が、ガラガラと崩れてきている。
インターネット上に学習データが枯渇し、その価値が薄れる「データの収穫逓減」という壁で、AIの進化が困難に直面してきています。
データの「量」から「質」への転換点
生成AIの爆発的な発展は、インターネット上に存在する膨大なテキストや画像データで支えられてきました。生成AIは、これを学習に利用することで、まるで人間のような言語能力を持つに至ました。
この巨大な「学習知識の宝庫」は、すでに枯渇を見せています。
AI研究者たちの分析では、Web上の高品質なデータは、2026年頃に既に枯渇すると予想されています。既に低品質なゴミデータしか残らない状況になってきています。
その状況でどんなにGPUを増強して、巨大モデルを構築しようとしても、入力されるデータが低品質ならば、出力される結果もまた低レベルのものになります。
モデルがモデルを学習して壊れる
最近では、生成AIがインターネット上に散りばめられたAIを学習するようになってきています。生成AIが生成AIを学習に利用するという現象が観測されています。これを繰り返すと、文字通りAIがどんどん馬鹿になっていきます。
AIは統計的に最も確率の高い「平凡な回答」を再生産し続けるようになり、同じことが繰り返されたり、意味不明の回答をするようになります。生成AIが生成Aiから楽手空いて、この共食いの連鎖に入り込めば、モデルはどんどん人間から離れた回答を行うようになっていきます。
突破口としての「合成データ」
この閉塞状況を打破するため、「合成データ」の活用が模索されています。単なるWebデータの切り貼りではなくて、AI自身が厳密な論理を行えるようにして、質の高いデータを組み合わせて回答を導くと言う手法です。
また、生成AI自身の推論能力を強化するアプローチも模索されています。生成AI自身が自己検証を繰り返す「思考のプロセス」を持つことで、データ量に依存しない知性の高度化を目指しています。
浪費される計算資源
今日、データセンターの電力消費量は激増の一途をたどっています。数千億円を投じてGPUを並べて、数ヶ月かけて世の中の事象を学習させても、性能が以前ほど向上していかない状況は、技術者や生成AIを運営する企業を悩ませています。
これからは「どれだけ効率的に、賢く学習させたか」という質的な勝負へと移行してきます。
