データ枯渇でモデル崩壊！AIがAIを学習する危うい未来

既に生成AIは、メモリや計算資源を投入すれば賢くなる「ボーナスステージ」は終わったとされています。

計算資源（GPUや電力）を2倍にしたからといって、能力が2倍になるわけではありません。ある一定ラインを越えると、性能の向上幅が極端に小さくなる「収穫逓減」の段階に入っています。

現在は「いかに質の高いデータだけを残すか」というクレンジングの技術が競争の核になっています。

1. 「高品質データ」の枯渇

現在のAI（大規模言語モデル）は、インターネット上の膨大なテキストを学習して成長してきましたが、その「良質なリソース」には限りがあります。

• ストックの限界: 書籍、論文、まともなニュース記事、質の高いプログラミングコードなどは、すでにあらかた学習し尽くされつつあります。