納得は、確かめたことの代わりにならない——AI開発と、自分で誤りに気づく条件

【要点3行】

• 閉じた循環は、自分では外を生まない。仮説は内側でも生まれるが、内側の整合性だけでは、それが現実に当てはまるかまでは確かめられない。

• 実感も、態度も、実測も、循環の外に出る保証にならない。センサーの値もまた一つの物差しであり、何を測っていないかは自分では現れない。

• そこで、答えを見る前に予測を書き、AIの答えではなく実際の結果と照合する。正常に動いていても見る日を作る。ここで得たのは手順であって、達成の証拠ではない。

1. 開発している実感と、消費している実態

AIを使って開発している私たちは、だんだんと、ただの消費者になっているのではないか。

最近公開されたAIを触っていて、そんな違和感が鮮明になった。指示を出せばコードが生まれ、修正を頼めば不具合が消える。以前なら何時間も考えたはずのことが、会話のうちに形になる。確かに何かを作っている。それなのに、作れば作るほど、自分が何を考えたのかが曖昧になっていく。

AIを使い倒しているつもりで、実際には巨大テックのプロダクトを消費しているだけなのではないか。本当の開発者は、AnthropicやOpenAIでモデルを作っている人たちだけで、私は彼らが提供するトークンをむさぼっているだけなのではないか。ミイラ取りがミイラになるように、道具を使う側から、道具の供給に生かされる側へ移っているのではないか。

この違和感を考えるうえで厄介なのは、作っているという実感が、そのまま判断していることの証拠にはならない点だ。

開発している実感と、消費している実態が両立してしまう。

作業している感覚は強い。指示し、比較し、修正を求め、採用する。何もしていないわけではない。しかし、AIが提案した課題を、AIが選んだ構成で解き、AIの説明で納得し、AIの評価で完成とするなら、判断の根拠はその循環の内側にある。人間が何度介入しても、その介入が循環を開くとは限らない。

しかも、滞りなく進むほど実感は強くなる。ここが少し珍しい。多くの道具は、うまく使えていないとき手に違和感が出る。刃が鈍っていれば重いし、設定が合っていなければ引っかかる。身体のほうが先に気づく。ところがこの道具は、こちらの判断が抜け落ちているときほど引っかからない。抜けた分だけ、なめらかになる。

だとすれば、「なんとなく大丈夫だと思う」は、この件についてほとんど情報を持っていない。私が手を止めたのも、違和感が湧いたからではあるが、あれは作業の中で生じた摩擦ではなく、別の文脈から入ってきた雑念だった。あの日に来なければ、来ないまま何ヶ月も進んだはずだ。摩擦がないということは、通知が来ないということでもある。

2. 危機感に混ざっていた、序列の語彙

ただ、この危機感を言葉にした時点で、別の問題が入り込んでいた。「本当の開発者」「ただの消費者」「成り下がる」。すべて序列の語彙だった。

私は、自分が何に触れ、何を判断しているかを問うつもりで、いつの間にか、モデルを作る人より上か下かを問うていた。比較によって物差しを増やすことを考えてきたはずなのに、ここではモデルの源流に近いほど本物だという、一本の物差しを自分で採用していた。

技術への危機感が誤りだったわけではない。しかし、何が失われるのかを調べる前に、身分の下落として受け取っていた。その二つは分ける必要がある。

3. 装置の側から見た、レイヤーの話

十代の終わりに電気工学を学び、その後は長く半導体露光装置に関わってきた。i線からKrF、ArF、ArF液浸へ。装置の中では下の方の精密制御というレイヤーにいた。

その位置から見ると、「作る側」と「使う側」の線がどれだけ動くものかが分かる。私が制御していたステージの上を通った光でパターンが焼かれ、それを買って回しているのは半導体メーカーだった。彼らを装置メーカーの消費者と呼ぶ人はいない。彼らはプロセスを開発していた。その上でチップを買って製品を作る側も、その上でアプリを書く側も同じである。レイヤーは増え続けてきたし、増えるたびに、下を知らないまま上を作る人間が増えた。それを堕落と呼ぶ声も、そのたびに出た。

そして、モデルを作っている人たちは、露光装置を作っていない。私がいたレイヤーの上に乗っている。知性の源泉を彼らの側にだけ置くと、こちらは彼らの描いた地図を、上流を自任する側から配られて使うことになる。

その意味で、モデルを自作しているかどうかは境界にならない。とはいえ、それだけで今回も従来の道具と同じだと言うのは、やはり粗い。

これまでも道具は思考の一部を肩代わりしてきた。ただ、今回私が委ねている範囲には、実装だけでなく、課題の解釈、選択肢の設定、説明、評価まで含まれる。しかも、入力に対してどのような推論を経てその提案に至ったのかを、仕様書のように読み切れるわけではない。APIの使い方が文書化されていることと、提案を採用してよい条件が明らかであることは違う。

その不透明さを抱えたまま、成果物は良くなりうる。だからこそ、自分の判断能力がどう変わったかを、成果物の品質だけからは見分けられない。今日できたものが良いことと、半年後に未知の不具合を扱えることは、別の問題である。

4. 「態度」は、どこへ逃げているのか

では、開発者であり続けることを、能力ではなく「態度」に求めればよいのか。現実に関わり、違和感を拾い、答えを疑い、結果を引き受ける。そうした姿勢に、開発者の根拠を置くことはできそうに見える。

しかし、態度への着地は安全すぎる。「私は問い続けている」と言えば、その自己像を保有できてしまう。何によって確かめるのかがないままでは、能力の代わりに、問い続ける人という資質を名乗っただけになる。

そしてこの逃げ方には、名前をつけておいたほうがいい。何ができるかで線を引けなくなったとき、どう向き合うかで線を引き直す。その先は、外から崩せない場所だ。外から崩せず、自分で保有を主張できる資質——それは、私が別のところで評価経済と呼んできたものが、最も好む形式である。肩書を捨てて態度を取ったつもりで、より落ちにくい肩書をひとつ手に入れている。

5. 畑を根拠にしたくなる

私の場合、その姿勢の根拠として挙げたくなるのが畑だ。市民農園の二つの区画、合わせて33㎡。そこで育つ植物や、灌水設備から得られる値は、汎用的なモデルの出力だけでは尽くせない。土に触れ、葉を見て、予測と違う現実に出会う。私はそこに身体を置いている。そのことを、自分の思考が現実から離れていない保証にしたくなる。

しかし、身体を置いていることは、何を保証するのだろうか。

畑は、自動的に外部になるわけではない。定植し、収穫し、記事を書き、反応を受け取る。その循環が完成すると、畑は物語の供給元になり、観察は記事の素材になる。身体を置いていても、起きたことを、自分が書きたかった話へ回収することはできる。

センサーの値も同じだ。測っているから現実に開かれている、とは言えない。何を測るか、どこで測るか、どの値を良しとするか。その選択によって、見えるものと見えないものが決まる。AIの評価を実測に置き換えても、採用した物差しを疑わなければ、別の閉じた循環を作ることになる。

例えば、土壌水分の値を目標にポンプを動かすとして、コードが正常に動くことと、その目標が植物にとって適切であることは別だ。

私の設備が返しているのは、おおまかに言えば土の体積含水率である。土の中に水がどれだけあるか。だが植物が応答しているのは、そこではない。水ポテンシャル——どれだけの力で水が保持され、根が引き出せる状態にあるか——のほうだ。同じ含水率でも、土質が違えば根が使える水は変わる。

このズレ自体は教科書の話である。私は以前、木がどうやって百メートルの梢まで水を上げるのかを調べて書いたとき、水ポテンシャルをひととおり整理している。樹高の限界を扱ったKochらの研究も、そのとき読んでいる。知らなかったわけではない。

だから、この違いを「土に触る人間にしかわからない」と言い切る必要はない。土に触ったから分かったのではなく、植物がどちらの量に応答するかを知っていたから分かる。必要な知識をAIが説明できる場合もある。問題は、「コードが動いた」で判断が終わり、その問い自体が出てこなかったことにある。

6. 人間の領域ではなく、経路のこと

AIが現場を知らないことに、人間の領域を確保しようとするのは危うい。問いの候補も、評価基準も、AIは提案できる。現場のデータを渡す範囲も広げられる。そのたびに人間だけの領域を後ろへ引き直すのでは、いつまでも線を探すことになる。

必要なのは、自分が今採用している枠組みの外から、判断を変えうるものが入ってくる経路だろう。それを持ち込むのは、人間の観察かもしれないし、別の人の指摘かもしれないし、AIが挙げた別の可能性かもしれない。誰が持ち込むかは、たぶん重要ではない。閉じた循環は、自分では外を生まない。それだけが残る。

ただし、この言い方は一度限定しておく。循環の内側でも、別の仮説は生まれる。AIも私も、思いつくこと自体はできる。生まれないのは、その仮説を支持したり退けたりする現実の証拠のほうだ。内側の整合性だけでは、その仮説が現実にも当てはまることまでは確かめられない。

だから、その提案に納得したことと、確かめたことは区別しなければならない。

私は以前、運動時の筋けいれんと水分補給について一本の論考を書き上げた。全文がそろい、構成も通り、あとは公開するだけという段階まで行ってから、医学的に踏み込みすぎていることが分かった。使っていた枠組みは、書いている間ずっと整合していた。整合していたから、最後まで自分では気づかなかった。止めたのは、外から来た別の物差しである。あの稿はいまも公開していない。構成から組み直している最中である。

7. 数えるだけでは足りない

では、現実に開かれていることをどう確かめるか。現場に予定を覆された回数や、記事にならなかった観察を数えればよいだろうか。態度の自己申告よりは、記録が残る。

しかし、覆された回数がゼロでも、予測が当たっていただけかもしれない。観察をすべて記事にしても、そこで計画が変わった可能性はある。逆に、未公開の観察を大量に抱えていても、判断に一切作用しないこともある。数を残高にした瞬間、今度は「これだけ現実に覆された」という資質の保有競争が始まりうる。

数えるだけでは足りない。接触する前に何を考え、接触した後に何を変えたか。その関係を残す必要がある。

そのために、まず一つの手順を置く。答えを見る前に予測を書く。そして、その予測を実際の結果と照合する。

照合先はAIの答えではない。自分の予測とAIの答えが一致しても、二者で同じ誤りを共有している可能性がある。そこで安心すれば、循環は閉じたままだ。

目的についても、接触する前に書いておく。関わるなかで目的が変わることはある。しかし、事前の記録がなければ、変更と後付けを区別しにくい。「最初からこれを学ぶつもりだった」と、結果に合わせて過去を整えることができてしまう。目標値を置けるものには置く。数値に収まらない目的なら、優先順位や、何を犠牲にしないかを書いておく。

同時に、選ばなかった候補と、その理由を残す。「何を見落としているか」と正面から問われても、見落としているものには気づけないことが多い。それでも、「この値を選んだとき、別のどの値を選ばなかったか。その理由を言えるか」なら、少なくとも説明できない場所が見える。

理由が言えないからといって、その判断がAI由来だとは限らない。慣習かもしれないし、自分の思い込みかもしれない。そこは空欄にする。空欄を埋めるためだけに、もっともらしい理由を生成しない。

8. 灌水設備で試す四つの記録

灌水設備で試すなら、記録することを次の四つに絞る。

AIに相談する前

目的、目標値、操作後に予測する変化。

目標値を決めたとき

選ばなかった候補値と、その理由。説明できなければ空欄にする。

操作・観察後

実際の結果と予測の差分。それを受けて変更すること、または変更しない理由。

次の判断を決めたとき

何日後に何を見て、今回の判断の成否を確かめるか。

最後の項目には期限が要る。条件だけでは、判定をいつまでも先送りできる。また、予測が外れたからといって、すぐに判断能力の劣化と決めつけることもできない。環境が変わったのかもしれないし、初めての条件なのかもしれない。記録は能力の点数ではなく、何が変わったかを調べる手がかりになる。

そして、記録項目を決めるだけでは、翌週には見なくなる。自動灌水は、放っておくと動く。動いているかぎり、私が設備の前に立つのは、たいてい何かがおかしくなった日だ。正常に動いている間にも、土でも植物でも変化は起きている。ただ、故障だけを観察のきっかけにしていると、その変化を判断の修正につなげる機会が抜け落ちる。

そこで、週に一度、故障していなくても、予測と結果を照合する日を予定に入れた。現実に予定を覆してもらうには、まず、予定と現実を並べる機会を作らなければならない。

9. まだ検証していないこと

もっとも、これで基盤への依存が解消するわけではない。コードやデータを持ち出せても、それを生み出すのに借りた推論能力まで持ち出せるとは限らない。自分で確かめる手順を持つことと、供給者の価格や仕様に左右されることは、別々に残る。

「ローカルなデータを持てば大丈夫だ」と考えることもできる。しかし、私の畑のログが未学習であることは、その有用性も代替不能性も保証しない。モデルが賢くなれば必ず価値が増すとも言えない。何のために、どのような質で記録するかによる。ここで再び「自分にしかない資産」を探し始めれば、序列を批判した場所から、別の希少性競争へ戻ってしまう。

私が確かめたいのは、開発者という身分が守られたかどうかではない。思考を委ねた結果、自分で誤りに気づき、判断を修正できる条件が、どう変わっているかだ。

AIの出力に対して「それでは足りない」と言うだけでなく、「これは何を訳し落としたか」と問う。ただし、訳し落としを指摘できたことも、合格にはしない。その指摘が次の観察や設計を変えるのか。それとも、洞察として文章の中に収まるのか。この記事も、その問いの外にはいない。

考えを文章にまとめると、何かを乗り越えた気になる。危機感の正体を捉え、安易な答えを退け、実行できる手順まで書いた。しかし、論旨が整ったことと、私の判断の仕方が変わったことは別である。納得できる記事を書き終えたという達成感も、開発している実感と同じように、確かめていないことを覆い隠しうる。

だから、開発者であり続ける方法を見つけた、と結ぶことはできない。次の照合日に、事前の予測と実際の結果を並べる。記録がなければ、後付けで予測を作らず、次回の予測を書く。

ここで得たのは、まだ検証前の手順であって、思考の自立を達成した証拠ではない。

参考

• 拙稿「木はどうやって100mの高さまで水を上げるのか──凝集力張力説・水ポテンシャル・樹高の限界」
  https://note.com/gilles1974/n/n92047065cada

• Koch, G. W., Sillett, S. C., Jennings, G. M. & Davis, S. D. (2004) "The limits of tree height." Nature 428, 851–854.

サムネイル

ChatGPT Images 2（GPT-6 Astra／OpenAI）
プロンプト：

A cinematic editorial photograph for a philosophical essay about AI development and the difference between feeling convinced and actually verifying.
On a dark, weathered workbench, a perfectly smooth pale-blue luminous loop lies flat in perspective. A soil-stained human hand gently places an irregular clod of earth with a small green seedling across its near edge. Where the soil crosses the loop, the light is obscured and scattered across rough grains. Most of the loop remains intact.
An unresolved encounter: the hand is examining, not triumphantly breaking the circle. The image should suggest testing an internally coherent idea against something it does not fully describe.
Detailed soil, exposed roots, imperfect leaves, and dirt beneath the fingernails contrast with the smooth light. Restrained composition, one clear focal point, readable at thumbnail size. Keep essential elements within the central 75% for cropping.
Soft natural side lighting. Muted earth brown, leaf green, and slate blue. Quiet, thoughtful, slightly uneasy. Photographic realism with a subtle painterly texture.
Landscape, 16:9. No text, letters, numbers, logos, watermarks, robots, brains, screens, or interface graphics.