
【第84回】AIは次の単語をどう予測する?n-gramとは
スマホでメッセージを打っている時、次に打ちそうな言葉が候補に出てくる「予測変換」に気づいたことはありませんか?実はあれ、AIが「次に来る言葉」を確率で予想しているからなんです。前回学んだ「形態素解析」で言葉をバラバラに分けた後、AIがどうやって文章を組み立てているのか。そのシンプルで強力な仕組み「n-gram」について解説します!
1. 読み方
n-gram = エヌグラム
2. 意味(定義)
n-gramを一言でいうと、「連続するn個の単語(または文字)の並び」を扱う考え方です。自然言語処理では、この並びがどれくらい出現するかを数えることで、次に現れやすい単語を予測するために利用されます。
これを身近な例えで言うなら、「超巨大な『お決まりフレーズ集』」のようなものです。
例えば、AIに大量の文章を読ませて、「〇〇の次には××が来ることが多いな」というデータを集めたとします。
「こんにちは」の次は、「お元気ですか」が来ることが多い(確率50%)
「こんにちは」の次は、「いい天気ですね」が来ることが多い(確率30%)
「こんにちは」の次は、「お出かけですか」が来ることが多い(確率15%)
このように、直前の言葉を見て「次はこれが来るはずだ!」と予想するのがn-gramの正体です。このとき、「いくつまでの単語の塊を見るか」を「n」という数字で表します。
1-gram(ユニグラム): 単語を1つずつバラバラに見た状態(単なる単語の出現回数)。
2-gram(バイグラム): 2つの単語のセットで見る状態(「私は」→「学生」)。
3-gram(トライグラム): 3つの単語のセットで見る状態(「私は」→「学生」→「です」)。
3. 歴史・背景
今のChatGPTのようなすごいAIが登場するずっと前から、AIに言葉を扱わせるための研究は行われていました。
昔のAIにとって、人間のように「文脈や意味を理解して文章を作る」ことは不可能に近い難題でした。そこで研究者が考えたのが、「意味なんて分からなくていいから、単なる『確率』で計算すれば、なんとなく人間っぽい文章になるんじゃないか?」というアプローチです。
これがn-gramの始まりです。「意味」ではなく「統計(回数)」に頼ることで、翻訳機や入力予測などの実用的な機能を実現できるようになりました。現在の大規模言語モデル(LLM)も、「次にどの単語(トークン)が現れるかを予測する」という目的は共通しています。ただし、その仕組みはn-gramよりもはるかに高度で、大量の文脈を考慮しながら予測を行います。
4. 比較・対比(n-gramとRNNの違い)
n-gramが進化した後の技術に「RNN(再帰型ニューラルネットワーク)」などがありますが、この2つは「記憶力」が全く違います。
① n-gram(短期記憶タイプ)
仕組み: 直前の1〜数単語だけを見て、次を予測する。
特徴: 処理がとても速く、シンプル。
弱点: 文章が長くなると、最初の方に何を書いていたか完全に忘れる。
イメージ: 「今の単語」だけを見て、反射的に次の言葉を出す感じ。
② RNN(長期記憶タイプ)
仕組み: 文章の最初から最後までを、ある種の「記憶」として保持しながら次を予測する。
特徴: 文脈を汲み取った、自然な長い文章が作れる。
弱点: 計算量が多く、処理に時間がかかる。
イメージ: 「文章全体の流れ」を頭に入れながら、慎重に次の言葉を選ぶ感じ。
5. 活用シーン(実社会のどこで、どんな問題に使うか)
① キーボードの「予測変換」 スマホで「お疲れ」と打つと、「様です」という候補が一番上に出ますよね。これは、過去の膨大なデータから「『お疲れ』の後に『様です』が来る確率が極めて高い」というn-gram的な統計データが使われているためです。
② スペルチェックや誤字脱字の検出 例えば、「私は学校に行きましでした」という不自然な文章があったとき、AIは「『行きまし』の次に『でした』が来る確率はほぼゼロだ」と判断します。これにより、「ここは書き間違えかもしれない」と検知して修正案を出すことができます。
6. G検定での出題傾向
n-gramは、自然言語処理の古典的な手法として出題されます。
ここをチェック!:
用語の定義: 「n-gramとは、連続するn個の単語の並びのことである」という基本定義。
nの数による呼び方: 1-gram(ユニグラム)、2-gram(バイグラム)などの名称が一致しているか。
本質的な仕組み: 意味を理解しているのではなく、「統計的な確率」に基づいて次を予測しているという点。
7. G検定の例題
【問題1:最頻出(基礎的な定義)】
自然言語処理において、連続するn個の単語(または文字)の並びを単位として、その出現確率を計算する手法を何と呼ぶか?
A. Word2Vec
B. n-gram
C. 形態素解析
D. 係り受け解析
【問題2:頻出(種類に関する問題)】
n-gramにおいて、2つの連続する単語のセット(例:「AI」+「を」)を単位として扱うものを何と呼ぶか?
A. ユニグラム(unigram)
B. バイグラム(bigram)
C.トライグラム(trigram)
D. クアドラグラム(quadgram)
【問題3:ひっかけ(仕組みに関する問題)】
n-gramを用いた言語モデルに関する記述として、不適切なものはどれか?
A. 過去に出現した単語の統計的な頻度に基づいて、次の単語を予測する。
B. nの値を大きくするほど、より長い文脈を考慮した予測が可能になる。
C. 単語の意味や概念を深く理解した上で、論理的な文章を構築している。
D. 予測変換やスペルチェックなどの機能に応用されている。
8. 7の例題の回答と解説
【問題1:回答】 B
【解説】 正解はBです。連続する n個の塊を見るので「n-gram」と呼びます。Aは単語をベクトル化する手法、Cは分解する手法、Dはつながりを分析する手法なので、予測とは異なります。
【問題2:回答】 B
【解説】 正解はBです。英語の「bi-」は「2つ」という意味(bicycle=自転車のタイヤ2本など)なので、2-gramはバイグラムと呼びます。ちなみに1つならユニグラム、3つならトライグラムです。
【問題3:回答】 C
【解説】 正解はCです。ここが最大のひっかけ!n-gramはあくまで「この言葉の次は、この言葉が来ることが多かった」という確率(回数)を計算しているだけです。AIが単語の「意味」を理解して論理的に考えているわけではありません。
9. Ankiアプリ用(CSV形式)
n-gramとは何か?,連続するn個の単語(または文字)の並びを単位として、次に来る単語を確率的に予測する手法
1-gram(ユニグラム)とは?,単語を1つずつバラバラに扱うn-gramのこと
2-gram(バイグラム)とは?,連続する2つの単語をセットとして扱うn-gramのこと
n-gramが次を予測する基準は?,過去のデータにおける単語の出現頻度(統計的な確率)
n-gramの弱点は何か?,直前のn-1個の単語しか見ないため、長い文脈(遠くにある単語との関係)を考慮できないこと
📝 総評・まとめ
お疲れ様でした!今回は、AIが文章を作るためのシンプルかつ強力な手法「n-gram」について学びました。 「意味を理解せずに、確率だけでなんとなく正解を導き出す」という考え方は、今のAIの進化においても非常に重要な基礎となっています。
✅ 絶対に覚えて!
n-gram → 「連続するn個の単語」の出現確率で次を予測すること!
呼び方 → 1つなら「ユニグラム」、2つなら「バイグラム」!
正体 → 「意味」を理解しているのではなく、「統計(回数)」で計算しているだけ!
🚀 次回予告 n-gramは便利ですが、「意味を理解していない」ため、似た意味の言葉(例:「嬉しい」と「幸せ」)を別物として扱ってしまう弱点がありました。 そこで登場するのが、単語を「意味のある数字のセット(ベクトル)」に変換して、AIに「意味」を理解させるすごい技術です。
【第85回】AIは単語の意味をどう理解する?Word2Vecとは でお会いしましょう!
✅ この記事が役に立ったら「スキ」で応援してください!
あなたの応援が、次の解説を作るエネルギーになります!🚀