
Googleが切り開く「忘れないAI」の未来:Nested Learningとは何か
今回は、Googleが2025年11月に発表した画期的な研究「Nested Learning」について解説します。これはAIの「忘れっぽさ」という根本的な課題に挑む、革新的なアプローチです。
AIが抱える「破滅的忘却」という弱点
私たちがChatGPTなどの生成AIを使っていて、不思議に思ったことはありませんか?「前に教えたことを覚えていない」「新しい情報を学ぶと、前の知識が抜け落ちる」。これは偶然ではなく、現代のAIが抱える構造的な問題です。
この現象は「破滅的忘却(Catastrophic Forgetting)」と呼ばれています。例えば、英語を習得したAIモデルにフランス語を新たに学習させると、フランス語の能力は向上しますが、英語の能力が著しく低下してしまうのです。
人間の脳であれば、新しい知識を既存の記憶と統合しながら学習できます。なぜAIにはそれができないのでしょうか。
Googleが提案する「Nested Learning」という革命
この深刻な課題に対して、GoogleはNeurIPS 2025で「Nested Learning(ネステッド・ラーニング)」という全く新しい機械学習のパラダイムを発表しました。
Nested Learningの核心は、AIモデルの「構造(アーキテクチャ)」と「学習方法(最適化アルゴリズム)」を、従来のように別々のものとして扱うのではなく、統合された一つのシステムとして再定義することにあります。
具体的には、一つのAIモデルを「複数の最適化問題が入れ子状に組み合わさった集合体」として捉えます。それぞれの層が独自の「コンテキストフロー(情報の流れ)」を持ち、異なる頻度で更新されるのです。
マトリョーシカのような多層学習構造
Nested Learningの仕組みは、ロシアの入れ子人形「マトリョーシカ」に例えると分かりやすいでしょう。
https://medium.com/data-science-in-your-pocket/what-is-google-nested-learning-34385df5c40b
AIモデルの内部には、更新速度が異なる複数の学習層が存在します:
内側の層(高速更新):会話の即座の応答パターンなど、素早く適応が必要な知識を学習
中間の層(中速更新):話し方のトーンやスタイルなど、ある程度の時間をかけて習得する特徴を学習
外側の層(低速更新):文法や基本的な事実など、安定した基礎知識を保持
この構造により、新しいトピック(例えば金融分野)について学習する際、内側の層が新しい専門知識に素早く適応する一方で、外側の層は既存の一般知識を保持し続けます。結果として、新しいことを学びながらも古い知識を忘れない、人間のような継続的な学習が実現するのです。
記憶の連続体「Continuum Memory System」
現在の大規模言語モデル(LLM)には、基本的に二種類の記憶しかありません。
一つは会話中にのみ保持される「短期記憶(コンテキストウィンドウ)」、もう一つは学習済みパラメータに固定された「長期記憶(重み)」です。この二つの中間に位置する記憶が存在しないため、真の意味での継続的な学習ができませんでした。
Nested Learningが導入する「Continuum Memory System(CMS)」は、この限界を打ち破ります。CMSは短期と長期という二極ではなく、様々な更新頻度を持つ記憶モジュールの「連続体(スペクトラム)」として機能します。
数ステップごとに更新されるモジュールから、数千ステップごとに更新されるモジュールまで、多様な時間スケールで動作する記憶システムが協調することで、はるかに豊かで効果的な記憶管理が可能になります。
実証モデル「Hope」:自己修正する次世代AI
理論を実証するため、Googleは「Hope」という革新的なAIアーキテクチャを開発しました。
HopeはGoogleの先行研究であるTitansアーキテクチャを改良したもので、「自己修正機能」を持つ再帰型アーキテクチャです。Hopeの最大の特徴は、文字通り「自分自身の学習方法を学習できる」点にあります。
この再帰的学習ループにより、Hopeは非常に長いコンテキストウィンドウに対応しながら、時間の経過とともに安定した記憶を維持できます。まさに、学習しながら成長し続けるAIの実現です。
実験結果が示す圧倒的な優位性
Googleが実施した実験では、Hopeは以下のタスク全てで既存モデルを上回る性能を示しました:
言語モデリング(より低いパープレキシティ)
常識推論(より高い精度)
長文脈推論
継続学習
知識統合
特に注目すべきは「Needle-in-a-Haystack(干し草の中の針)」タスクでの優れた成績です。これは膨大な文脈の中から特定の情報を正確に取り出す能力を測るもので、Hopeは従来のTransformer、Titans、Sambaといった最先端モデルを大きく上回りました。
これは、CMSによる効率的な記憶管理が実際に機能していることの証明です。
オプティマイザーの再定義:記憶システムとしての最適化
Nested Learningのもう一つの革新は、オプティマイザー(最適化アルゴリズム)の捉え方を変えたことです。
従来、AdamやSGDのようなオプティマイザーは、単に重みを更新する「機械的な計算式」と見なされていました。しかしNested Learningは、オプティマイザー自体を「連想記憶モジュール」として再定義します。
各オプティマイザーは過去のサンプルがどのように振る舞ったかを記憶し、その記憶を活用してより賢く更新を行います。単純なドット積類似度(ベクトルの近さ)ではなく、L2回帰損失のような実際の損失指標を使用することで、サンプル間の関係性をより深く理解した更新が可能になります。
実用化されたら何が変わるのか
Nested Learningは単なる技術的改良ではありません。AIの学習そのものに対する考え方の根本的な転換です。
具体例で考えてみましょう。法律文書を理解できるようにファインチューニングされたチャットボットがあるとします。
従来のモデル:法律用語には強くなるが、一般的な会話能力が大幅に低下。法律文書は読めるが、日常会話はぎこちない。
Nested Learningモデル:
高速更新層が法律用語や専門的表現に適応
低速更新層が一般的な言語感覚を維持
時間の経過とともに両方の層が統合され、法律にも強く、かつ自然な会話もできるバランスの取れたモデルが実現
これこそが、適応性と記憶の保持を両立する真の継続学習です。
人間らしい学習を目指して
人間の脳は「神経可塑性」という驚くべき能力を持っています。新しい経験、記憶、学習に応じて、脳の構造自体を変化させる能力です。この能力がなければ、私たちは目の前の情報しか処理できない「前向性健忘」の状態に陥ってしまいます。
現在のLLMも似たような制限を抱えています。その知識は、入力ウィンドウの即座のコンテキストか、事前学習で学んだ静的な情報に限定されています。
Nested Learningは、この人間の脳の学習メカニズムに近づこうとする試みです。多様な時間スケールでの更新、階層的な記憶システム、自己修正能力。これらすべてが、より人間らしい学習を実現するための要素なのです。
私たちの未来にもたらす変化
Nested Learningが示唆するのは、AIが「定期的に再訓練が必要な製品」から「経験を積みながら徐々に進化し続けるシステム」へと変わる可能性です。
想像してみてください:
個人アシスタントAI:あなたとの対話を通じて、好みや考え方を徐々に学習。新しい情報を得ても、あなたについて学んだことは忘れない。
企業向けナレッジシステム:プロジェクトを通じて蓄積された専門知識を保持しながら、新しい業務領域にも対応。過去の経験を活かした提案が可能に。
教育支援AI:学習者の理解度や学習スタイルを記憶しながら、新しい教材や指導法にも柔軟に対応。真の意味で「共に成長する」パートナーに。
課題と今後の展望
もちろん、Hopeはまだ概念実証の段階です。論文自体も「NeurIPS版はページ制限のため大幅に要約されており、完全な詳細はarXiv版を参照」と注記しています。実験結果の規模や、大規模な長文脈タスクでのスケーラビリティについては、さらなる検証が必要です。
また、計算コストの問題もあります。複数の層を異なる頻度で更新するNested Learningは、従来のTransformerよりも計算量が増える可能性があります。効率性とのトレードオフをどう解決するかが、実用化の鍵となるでしょう。
結論:新しい時代への扉
Nested Learningは、AIと機械学習の分野における重要な一歩です。アーキテクチャと最適化を、入れ子状の最適化問題という統一されたシステムとして扱うことで、より表現力豊かで、有能で、効率的な学習アルゴリズムへの道が開かれました。
Googleが目指しているのは、現在のLLMが持つ限定的で忘れやすい性質と、人間の脳が持つ驚異的な継続学習能力との間のギャップを埋めることです。
Nested Learningはその実現に向けた堅固な基盤を提供します。研究コミュニティがこの新しい次元を探求し、次世代の自己改善型AIの構築に貢献することを、Googleは期待しています。
私たちもまた、この技術がどのように発展し、私たちの生活をどう変えていくのか、注目していく必要があるでしょう。
参考記事
〇Introducing Nested Learning: A new ML paradigm for continual learning(2025年11月7日)
〇What is Google Nested Learning? resolving catastrophic forgetting in machine learning(2025年11月)
https://medium.com/data-science-in-your-pocket/what-is-google-nested-learning-34385df5c40b
〇Nested Learning: A New Machine Learning Approach for Continual Learning that Views Models as Nested Optimization Problems(2025年11月8日)