メインコンテンツへスキップ
見出し画像
Photo by5ynthaire

帰納極限と演繹極限の間の煩悩:AI制御と学習データの物量的アプローチの限界

    元記事:Zen and Infinity: Two Paths to Clarity

    1. 二通りのAIプロンプト術

    私は過去記事で、具体例列挙を推奨する主流プロンプト方法論の対立概念として抽象的プロンプト術[1]の有用性を主張してきた。

    • 具体例列挙:帰納的方法で真理や実体に到達する

    • 抽象化:演繹的に原則を抽出して真理や実体に到達する

    いずれも極限においては本質・実体に漸近すると考えられるが、初期の立ち上がりとその後の動向が異なる。

    例えば、「赤」という色を両アプローチで定義してみる:

    1. 具体例列挙アプローチ

    [ルビー、チューリップ、てんとう虫、郵便ポスト、怒り、イチゴ、消防車、唐辛子、鯛、リチウムの炎色反応、情熱、・・・]

    2. 抽象的アプローチ

    [電磁波の可視波長における650nm付近で人間に知覚される色相]

    トークン当たりの意図伝達を比較すると、初期効率は1のほうが高い。しかし、2で一旦一文が成立するとこの関係が逆転する。1は「赤」以外の部分がノイズとして蓄積されていき本質への漸近が阻害される。

    • 抽象、具体はいずれも極限では本質に迫るが、その間の抽象化不足、具体例不足では意図伝達が大きく落ち込む。これはAIとの対話で半端なプロンプトを送信した場合に起きる曲解・誤解などで体感できる。

    • 具体例は数個上げるまではトークン効率が良いが、頭打ちが速く来る。


    脚注 [1] 過去記事


    2. 人間の認知との相似

    日の出または日没時に撮影された穏やかな風景写真。手前では、羽毛のような穂をつけた背の高い草が右に向かって緩やかに傾き、温かみのある黄金色の逆光を受けて明るく輝いている。暗くシルエットになった手前の景色の向こうには、幾重にも連なる山の尾根の谷間を低く立ち込める霧が埋め尽くしている。山々は、ピンク、オレンジ、淡い紫色の滑らかなグラデーションを描く空の下、柔らかくかすんだ彼方へと溶け込んでおり、地平線の低い位置では太陽が明るく輝いている。
    • 古典的宗教や人生訓では、人生経験(具体例)をたくさん積んだ上で瞑想する(抽象化)ことが煩悩を棄て解脱へ繋がる、と説くものがよく見られる

    • スポーツ科学では、練習を積んで(具体例)イメージトレーニングをする(抽象化)ことが技能向上に有効とされる。

    何れも半端な状態が最低であり、AIプロンプト術で曲解・誤解リスクと似たような煩悩の谷間のようなものを形成する。そして、具体例をかき集めるという物量的アプローチは現実が規定する限界がある。


    3. AIプロンプト術へのフィードバック

    具体例は抽象的原則の現実接続には有効だが、正確な意図伝達に使用するには膨大な量が必要になる。半端な具体例列挙は曲解や拡大解釈を生み、またスレッドにもノイズとして蓄積される。トークン効率、コンテクストウィンドウの清潔性両面で不利である。


    4. マクロ観点:AI学習データの枯渇と物量作戦の限界

    AI学習データは今後数年内に枯渇すると予測[2]されている。また、ここ数年のパラメーター数増大やコンテクストウィンドウ拡張も体感的に頭打ち感がある。これは正に先の物量アプローチの限界が来ていることを意味する。

    よって、AI業界は抽象化アプローチへの移行を余儀なくされるのではないかと予想される。具体的には:

    • 認知・推論向上の知的フレームワークに基づいたトランスフォーマーモデルの収束方向性制御

    • 学習データの水平的扱いを優劣(パフォーマンス向上寄与)による重みづけへ移行


    脚注 [2] ソース例

    • Epoch AI, “Will We Run Out of Data? Limits of LLM Scaling Based on Human-Generated Data” (arxiv)

    • Stanford AI Index: Will LLMs run out of training data? (Telefónica Tech)


    知的創造もこれに合わせて

    • 開かれたコンテンツ共有から閉じたシステムへ:コンテンツビジネスは既に飽和している。無料公開からエンゲージメントとフォロワーを伸ばし、収益化で期待できる対価と、AI学習データとしての価値。この両者を天秤にかけ、後者が勝っていればあえて一般公開しない選択肢が生まれる。

    • AI梁山泊:高品質のAI学習データを集め、内部でそれらを独自体系化してAIの認知・推論向上させ、出来上がったAIとの対話から再帰的に性能を向上させる、知的城郭のようなものが出現。

    といった遷移を遂げるかもしれない。

    了

    広大で影に覆われた都市の谷間に、遠くシルエットになって浮かび上がる街のスカイラインを描いた超現実的な風景。手前には、草が生い茂る暗く起伏のある丘が広がる。空は、地平線のかすんだ淡い黄色の光から、明るい満月と点在する雲が浮かぶ、星空が広がる深い青緑色の夜空へと劇的に変化している。

    関連記事

    あなたへのおすすめ