
AIは言葉や絵をどうやって理解しているのか?
3か月ほど前、ローカル環境で動画を作ってみたくて、ChatGPTにComfyUIの導入方法を聞いていた。
ComfyUIは、画像や動画を生成するためのAIの機能を「ノード」という部品に分けて、それを線でつないでワークフローを作るツールだ。

こうして見ると、まるで巨大なエフェクターケースのようだ。
見たことも聞いたこともない生成AIの「部品」を、自分で線でつないで、機能がどの順番でどのように連携し動作するのかを、自分で編集できる、ということだ。
プロンプトを読むText Encoder
映像の元になる潜在表現を作る生成モデル
それを人間が見られる画像へ戻すVAE
私はゴリゴリの文系なので、横文字で説明されても何のことだかさっぱりわからない。だが、わからないまま進めるのも気持ち悪い。
「Text Encoderって、何をEncoderしてんの?」
「VAEは何をしてるの?」
「ていうかAIって、そもそも画像をどうやって作ってんの?」
とChatGPTに聞き始めた。
この辺からComfyUI導入の話は徐々に脱線していく。でも僕は、AIを使っている時のこういう脱線が結構好きだ。知らない部品を一個開けると、その奥から別の問いが出てくる。そして瞬時にその問いを解決できる。
いわば「わからない」というモヤモヤと「そういうことか」というスッキリを高速で何度も回すことができる、しかも気兼ねなく。それが僕にはとても楽しい。
分岐を分岐してさらに分岐して…終わってみるとめちゃくちゃ充実してるのに、最初に何の話をしたのかはもうよく覚えてない。ただただ自分が新しい何かを吸収したという感覚だけが残るあのすがすがしい疲労感が、実は結構好きだ。
AIは画像を直接描いているわけではない
画像生成AIに「雨の東京を歩く女性」と入力したとする。
人間なら、東京、雨、女性、夜、傘、濡れた道路みたいな要素を頭の中で組み合わせて、一つの場面を想像する。
AIも結果だけ見れば似たことをしているが、機械の内部で行われているのは、「文字」や「画像」そのもののイメージはなく、
入力された言葉を数値の並びに変える
という作業を、AIはやっている。
「雨」という単語を、辞書に書かれた一つの意味として読むのではなく、
濡れる、雲、傘、暗い空、反射、寒さ、といった他の言語や概念との距離を、数値で座標として整理しているのだ。
つまり一つの単語を「大量の関係を含む位置情報」として扱う。こうした数値上の位置や方向を、ざっくり言えばベクトルと呼ぶ。
その後、AIは完成画像より小さく圧縮された潜在空間で、ノイズから少しずつ画像の構造を作っていく。潜在空間という言葉は難しそうだが、要するに、画像をそのまま保存した倉庫ではなく、「画像らしさを構成する特徴」を圧縮して扱う作業場だ。
最後にVAEという仕組みが、その圧縮された表現を、人間の目に見える画像へ戻す。
流れとしては、
言葉
↓
数値化された意味
↓
潜在空間での画像設計
↓
人間が見られる画像
となる。
AIは「東京」という完成品を倉庫から取り出して貼っているわけではない。東京という言葉に結びついた建物、光、道路、看板、人の密度、夜の色といった特徴の偏りを、その都度組み直している。
この説明を聞いた時僕は思った。
「これ考えたやつ完全に天才じゃん」
LLMは人間なのか
その天才的なアイディアの重要な一部が、2017年にGoogleの研究者たちが発表したTransformerの論文「Attention Is All You Need」だった。
ChatGPTやGeminiなどのLLMも、日本語や英語を人間と同じ方法で読んでいるわけではない。入力された文章を細かな単位に分け、それぞれを数値ベクトルへ変換し、文脈の中でどの言葉とどの言葉が関係しているかを計算する。「銀行」という言葉ひとつでも、「口座を作った」と続けば客が利用する金融機関だと分かるし、「出勤した」と続けばそこが職場であることがわかる。つまり単語一つとっても、周囲の言葉が変われば単語の意味は変わるのだ。
単語の意味は、単語単体だけで決まらない。周囲との関係の中で決まる。これを聞いた時、僕は「いや、人間もそうじゃね?」と思った。というか、
LLMって、人間じゃん
と思った。
人間だって「銀行」という音そのものを理解しているわけではない。前後の会話、場面、過去の経験を使って、「今回はこっちの意味だな」と判断している。
もちろん、人間とLLMは全然違うところの方が多い。人間には身体があるし、経験もある。痛いし、眠いし、昔の記憶もあるし、かゆいところもある。でもAIが言葉をどう扱っているのか知ろうとすると、逆に「じゃあ人間が言葉を理解するって何なんだ?」という話になってくる。
ComfyUIの設定方法を聞いていただけなのに、気づけば人間の知性の話をしていた。
「好き」も概念の束として分解できる
例えば僕は『攻殻機動隊』が好きだ。でも「攻殻機動隊が好きです」だけでは、僕が何を好きなのか実はほとんど分からない。
人間と機械の境界が好きなのか。記憶と人格の問題が好きなのか。巨大都市の中の孤独が好きなのか。宗教性とテクノロジーが混ざっている感じが好きなのか。強いけれど世界と少し距離を置いている人物が好きなのか。逆に、銃器の細かい設定や軍事組織だけを抜き出しても、僕はそこまで興奮しない。ということは、「攻殻機動隊が好き」という巨大な箱の中にも、自分が反応している部品と、そうでもない部品がある。
じゃあ『ブレードランナー』はどうだ。『インターステラー』は。村上春樹は。押井守は。Black Mirrorは。一個ずつ「何が好きなのか」を分解していくと、別々の作品だったはずなのに同じ場所へ線が集まってくる。
孤独、時間、意識、記憶、人間と機械、巨大都市、世界とつながっているのに完全には混ざれない感覚。そして気が付く、
これらの事柄はすべて、僕と攻殻機動隊とをつなぐ関係性を表した概念マップである、と。
作品を分析していたはずなのに、いつの間にか僕自身の構造を解析している。
AIの概念空間を見て、自分の概念空間を知る

この考え方は、そのまま創作にも使える。
「攻殻機動隊っぽい絵を作って」ではなく、自分が攻殻機動隊の何を好きなのかを取り出して、自分の好きな割合で組み直す。
音楽でも文章でも同じだ。
好きなものをコピーするんじゃない。好きになった理由を分解して、自分の配合で再構成する。
そう考えると、AIに良いプロンプトを書く作業と、自己理解はかなり近い。
「もっとカッコよくして」とAIに言っても、AIからしたら「お前のカッコいいって何?」という話になる。
だから説明する。
「これは好き」
「これは違う」
「ここは最高」
「これは似てるけど刺さらない」
それを繰り返していると、AIが僕を理解していくのと同時に、僕の方も「あ、俺こういうものが好きだったのか」と気づいていく。
3か月前、僕はただComfyUIで動画を作りたかっただけだった。
ComfyUIの配線を理解したかっただけなのに、結局いちばん面白かったのは、自分の配線の方だった。
記事の反応を集計しています!「いいね」と思った方はスキボタンで教えてください!もれなくスキをお返しいたします!