AIの歴史 Vol.006｜AIは、なぜ急に会話が上手になったの？～文章を作るAIから、「こちらの意図を聞いて答えるAI」へ変わった歴史～

こんにちは、ゆーみんです😊

前回の「AIの歴史」では、

AIは、どうやって間違いを減らしてきたの？

という疑問を取り上げました。

人から答えを評価してもらう。
外の情報を検索する。
計算機やデータベースなどの道具を使う。
分からない時に、無理に答えない方法を研究する。

AIは、一つの頭だけで何でも答えようとするのではなく、

人に教わり、調べ、道具を使いながら答えへ近づく存在

へ少しずつ変わってきました。

では今回は、もう一つの大きな変化を見ていきます。

それは、

AIは、なぜ急に会話が上手になったの？

という疑問です🌱

文章を作るAIは、ChatGPTが登場する前からありました。

質問に答えるAIもありました。

それなのに、2022年にChatGPTが公開されると、

「普通の言葉で話しかけられる」
「言い直しても会話が続く」
「前の話を踏まえて答えてくれる」
「難しい命令文を書かなくても使える」

と、多くの人が驚きました。

何か一つの発明によって、突然AIが人間の会話を理解できるようになったのでしょうか。

先に、ざっくり答えを言うと、

文章を続ける力に、指示へ従う学習と、会話の流れを扱う仕組みが重なったから。

です。

今回お話しする流れは、主にこの5つです。

1. もともとのAIは「会話相手」ではなく、文章の続きを作る仕組みだった
2. 文章を作れても、頼まれたことに従うとは限らなかった
3. 人が「こちらの答えの方がよい」と教え始めた
4. 質問と回答を一往復ではなく、会話として扱うようになった
5. ChatGPTが、難しいAIを誰でも試しやすい形へ変えた

難しい専門用語を全部覚えなくても大丈夫です。

AIが急に人のようになった話ではなく、

人が使いやすい話し方を、少しずつ教えてきた歴史

として見ていきましょう😊

⸻

■ ChatGPT以前にも、文章を作るAIはあった

ChatGPTが登場する前にも、AIは文章を作れました。

たとえば、

むかしむかし、ある村に——

と入力すると、その続きを考える。

新商品の紹介文を書いて。

と頼むと、それらしい文章を作る。

この英文を日本語に訳して。

と入力すると、翻訳を返す。

こうしたことは、以前の言語モデルにもできました。

では、ChatGPTと何が違ったのでしょうか。

大きな違いの一つは、

文章を作れることと、
人が頼んだことを理解し、希望に沿って答えること

の間にある差です。

言語モデルは、大量の文章に含まれる言葉同士の関係を学び、次に続きそうな言葉を予測しながら文章を作ります。OpenAIも、基盤モデルは文脈の中で言葉がどのように現れるかを学び、次に続く可能性が高い言葉を予測して回答を生成すると説明しています。

この仕組みは、自然な文章を作るにはとても強力です。

でも、最初から、

「質問に正面から答える」
「指定された長さを守る」
「初心者向けに説明する」
「危険な依頼には応じない」
「分からない部分を確認する」

ことまで得意だったわけではありません。

AIは文章の続きを作れても、

人が何をしてほしいのか

を、いつも優先していたわけではなかったんです。

⸻

■ 「文章の続き」と「お願いへの返事」は違う

たとえば、AIへこう入力したとします。

月面着陸を、6歳の子どもにも分かるように短く説明してください。

私たちは、

・難しい言葉を使わない
・数行でまとめる
・子ども向けに例える
・質問に直接答える

ことを期待します。

でも、文章の続きを作ることだけを中心に学んだAIは、

月面着陸について長い百科事典のような文章を続けたり、
専門用語を並べたり、
別の話題へ広がったりすることがあります。

入力された文章のあとに何が続きそうかは考えられても、

この人が本当に求めているのは、短くてやさしい説明だ。

という優先順位までは、十分に学んでいなかったからです。

OpenAIは2022年、GPT-3がインターネット上の大量の文章から次の言葉を予測するよう学習しており、利用者が求める作業を安全に行うこと自体を目的に学んだわけではないと説明しました。

ここに、

文章は作れる。
でも、頼まれた通りに答えるとは限らない。

というズレがありました。

⸻

■ プロンプトを工夫できる人ほど、使いやすかった

以前のAIでは、欲しい答えを得るために、

・お手本を何個か見せる
・書式を細かく指定する
・役割を設定する
・回答例を先に置く
・文章の続きを作りやすい形へ整える

といった工夫が必要になることがありました。

たとえば、

次の例と同じ形式で答えてください。

質問：りんごは何色？
答え：赤色や緑色です。

質問：空は何色？

のように、先に見本を与えます。

こうした方法は、AIを扱うことに慣れた人には役立ちます。

でも、多くの人にとっては、

そもそも何を書けば、希望どおりに動くの？

という状態でした。

便利な力はあっても、

AIに合わせた話し方を、人が覚える必要があった

とも言えます。

ChatGPTが広がった大きな理由の一つは、この関係が少し逆になったことです。

人がAI向けの特殊な文章を書くだけでなく、

AIの方が、人の普通のお願いへ合わせるよう調整された。

ここが大きな変化でした🌱

⸻

■ ① 人が「お願いへの答え方」を見せた

AIが指示へ従いやすくなるために行われた方法の一つが、

人が望ましい回答例を見せること

です。

たとえば利用者が、

この文章を100文字以内で要約してください。

と頼んだ時。

人が、

「このような答えが望ましい」

という例を書きます。

AIは、その例を使って、

・質問へ直接答える
・指定された長さを守る
・必要な内容を残す
・余計な説明を減らす

といった答え方を学びます。

学校で先生がお手本を見せるのに少し似ています。

単にたくさんの文章を読むだけではなく、

こう頼まれた時には、こう答えるとよい。

という組み合わせを学ぶんですね。

OpenAIが2022年に発表したInstructGPTでは、人が望ましい回答例を作り、そのデータを使ってGPT-3を調整しました。さらに、人が複数のAI回答を比較して順位を付け、その評価も学習へ使われました。

このように、

人の指示へ従いやすく調整されたAI

が、InstructGPTです。

⸻

■ InstructGPTって何？

名前を分けてみると、

Instruct＝指示する
GPT＝文章を生成する仕組み

です。

つまりInstructGPTは、

人の指示へ従うように調整されたGPT

という意味に近い名前です。

たとえば、

「3行で説明して」
「小学生向けに言い換えて」
「箇条書きにして」
「この内容だけを抜き出して」
「失礼にならないメールへ直して」

といった依頼へ、以前より素直に答えやすくなりました。

OpenAIの評価では、InstructGPTの回答は元のGPT-3より人から好まれ、指示への従いやすさが改善しました。規模が100倍以上大きいGPT-3より、小さなInstructGPTの回答が好まれた例も報告されています。

これは、とても面白い変化です。

AIは、ただ大きくすれば使いやすくなるとは限らない。

人の希望に沿うよう教えることで、小さなモデルでも好まれる答えを返せる。

賢さの量だけではなく、

こちらの頼み方を聞いてくれるか。

が大切になったんです😊

⸻

■ ② 人が複数の答えを比べた

望ましい回答例を見せるだけではありません。

AIに一つの質問を与え、複数の答えを作らせます。

たとえば、

仕事を休む連絡を、上司へ送る文章にしてください。

という質問に、AIが3つの回答を出したとします。

回答A

今日休みます。よろしくお願いします。

回答B

お疲れさまです。体調が優れないため、本日はお休みをいただきたくご連絡しました。ご迷惑をおかけしますが、よろしくお願いいたします。

回答C

私は言語モデルなので、会社を休むことはできません。

人がこの3つを見て、

1位はB。
2位はA。
3位はC。

というように順位を付けます。

するとAIは、

・質問へ答えている
・状況に合う言葉遣い
・必要な情報が入っている
・余計な説明がない

回答が好まれやすいことを学びます。

このように、人の好みや評価を使ってAIを調整する代表的な方法が、

人間のフィードバックを用いた強化学習

です。

英語では、

RLHF

と呼ばれます。

正式名称まで覚える必要はありません。

初心者さんは、

人がAIの答えを比べて、こちらの方がよいと教えた。

くらいの理解で大丈夫です🌱

OpenAIは、InstructGPTの中心的な手法としてRLHFを使い、人が作った回答例と、人が複数の回答を比べたデータからモデルを調整したと説明しています。

⸻

■ 人の評価を学べば、人の気持ちまで分かるの？

ここは、少し慎重に見たいところです。

人が好む回答を学んだからといって、

AIが本当に相手の気持ちを感じるようになったわけではありません。

たとえばAIが、

それは大変でしたね。

と答えたとしても、人と同じ意味で心配しているとは限りません。

多くの会話や人の評価から、

この場面では、相手の気持ちへ触れてから答えると望まれやすい。

というパターンを学んでいます。

それでも、使う側にとっては大きな変化でした。

以前は、

質問を無視する。
急に別の話を始める。
望んでいない長文を返す。
命令文の続きを作ってしまう。

ことがありました。

そこから、

相手は何を求めている？
どんな答え方が合っている？
この言い方は危険ではない？
もう少し分かりやすくできる？

という方向へ調整されたことで、

会話が成立しているように感じやすくなった

んですね。

AIが人の心を持ったからではなく、

人にとって望ましい返し方を学んだから。

ここは分けて考えたいところです😊

⸻

■ ③ 一回の質問ではなく、会話の流れを扱った

ChatGPTが使いやすく感じられたもう一つの理由が、

前のやり取りを含めて答えること

です。

たとえば、最初に、

東京から2時間以内で行ける旅行先を教えて。

と聞く。

AIが候補を出したあと、

その中で海が見える場所だけにして。

と続ける。

さらに、

車を使わない前提で、1泊2日の予定を作って。

と頼む。

私たちは、

「その中で」が前の候補を指していること。
旅行先の条件が引き継がれていること。
東京から出発する話が続いていること。

を分かっています。

ChatGPTも、会話の中に含まれるそれまでの文章を参照しながら、次の回答を作ります。

そのため、毎回最初からすべて説明し直さなくても、

もう少し短くして。
2番目の案を使って。
さっきの口調へ戻して。
子ども向けに変えて。

と続けられます。

これが、

文章生成ツール

から、

一緒に調整できる会話相手

へ見え方を変えました。

⸻

■ 会話の内容を、本当にずっと覚えているの？

ここは少し誤解されやすいところです。

会話中に前の内容を踏まえられるからといって、人と同じようにすべてを永久に覚えているわけではありません。

基本的には、その時の回答を作るために渡されている会話の内容を読み、

今、何の話をしているのか。

を判断しています。

会話がとても長くなると、

・昔の条件を見落とす
・最初のお願いとズレる
・似た話を混ぜる
・大切な設定を忘れたように見える

ことがあります。

つまり、

会話できる＝何でも完璧に記憶している

ではありません。

人でも長い打ち合わせの最初に決めたことを忘れる場合がありますよね😂

AIへ長く相談する時も、

ここまでの条件を一度まとめて。

この3つを今後も優先して。

変更した条件だけ整理して。

と確認すると、ズレを減らしやすくなります🌱

⸻

■ ④ 会話用の回答を、人がさらに評価した

ChatGPTは、文章を生成するGPT-3.5系列のモデルを、会話へ適するように調整して作られました。

OpenAIの公開説明によると、ChatGPTは人が書いた会話例を使い、人間のAIトレーナーが利用者役とAI役の両方を演じる形でも学習しました。さらにモデルが作った複数の回答を人が順位付けし、その比較データを使って強化学習が行われました。

つまり、

単に質問と答えを一組だけ学んだのではなく、

利用者が聞く。
AIが答える。
利用者が言い直す。
AIが条件を踏まえて修正する。

という会話の形も学んだんです。

たとえば、

利用者：

結婚式を欠席する連絡を作って。

AI：

お招きいただきありがとうございます。残念ながら……

利用者：

もう少し親しい友人向けにして。

AI：

招待してくれて本当にありがとう。すごく行きたかったんだけど……

利用者：

理由は詳しく書かないで。

AI：

招待してくれて本当にありがとう。残念だけど、今回はどうしても都合がつかなくて……

このように、

一回で正解を出すのではなく、やり取りしながら近づける

ことが、ChatGPTの使いやすさにつながりました。

⸻

■ ChatGPTは、InstructGPTの続きにいた

ChatGPTは、何もないところから突然登場したわけではありません。

OpenAIは、ChatGPTを、指示へ従うよう学習したInstructGPTに近い「兄弟モデル」と説明しています。

流れを簡単に並べると、

GPT

大量の文章から、言葉の続き方を学ぶ。

↓

InstructGPT

人の指示へ従いやすいように調整する。

↓

ChatGPT

指示へ従う力を、会話形式で使いやすくする。

というイメージです。

もちろん、実際の開発はもっと複雑です。

でも初心者さんは、

文章を作るAIに、お願いを聞く力と、会話を続ける形を重ねた。

と考えると分かりやすいと思います😊

⸻

■ ⑤ 難しい機能を、チャット画面にした

技術だけでなく、

使うための入口

も大きな変化でした。

以前の高性能な言語モデルは、主に開発者向けのAPIや、文章を入力して生成結果を試す画面などで使われていました。

APIとは、企業や開発者が、自分のサービスへAIを組み込むための仕組みです。

便利ですが、一般の人が、

今日ちょっと相談してみよう。

と気軽に使う入口ではありませんでした。

ChatGPTは、2022年11月30日に研究プレビューとして公開されました。当初、利用者から長所や弱点についてフィードバックを集める目的も示され、チャット形式で誰でも試しやすい形が用意されました。

画面には、文章を入力する場所がある。

そこへ普通に話しかける。

返事が来たら、また続けて質問する。

この形は、メールやメッセージアプリに慣れている人なら理解しやすいものでした。

AIの仕組みを知らなくても、

話しかければいいんだ。

と分かったんです。

ChatGPTが広がった理由は、AIが賢くなったことだけではありません。

賢いAIを、説明書なしでも触りやすい形へ置いたこと。

これも、とても大きかったと思います🌱

⸻

■ 「プロンプト」という言葉を知らなくても使えた

生成AIを使う時に入力する文章を、

プロンプト

と呼ぶことがあります。

でも、ChatGPTを最初に使った人の多くは、

「プロンプトを書こう」

とは思っていなかったかもしれません。

ただ、

今日の献立を考えて。
このメールをやさしく直して。
この言葉はどういう意味？
旅行の予定を作って。
ちょっと話を聞いて。

と、普通に話しかけました。

以前は、AIをうまく動かすために、

例を並べる。
形式を指定する。
特殊な書き方を覚える。

必要がある場面もありました。

ChatGPTでは、不十分な頼み方でも、ある程度意図をくみ取り、答えを返してくれます。

違っていたら、

そうじゃなくて、もっと短く。

と言い直せます。

この、

最初から完璧な指示を書かなくても、会話で直せる

ことが、初心者さんにとって大きかったんですよね😊

⸻

■ 会話が上手に見える理由

ChatGPTが会話上手に見える理由を、ここまでの内容から整理してみます。

① 普通の文章を作る力があった

大量の文章から、自然な言葉の並び方を学んでいました。

② 指示へ従うよう人が教えた

質問へ答える。
長さを守る。
形式を合わせる。

といった行動を学びました。

③ 人が好む回答を比較した

複数の答えから、より役立ち、分かりやすいものを選ぶ評価を学びました。

④ 会話の前後を含めて答えた

「それ」「さっきの案」のような表現を、前のやり取りと結びつけやすくなりました。

⑤ 言い直しながら完成させられた

一回の指示で決めなくても、会話の中で調整できました。

⑥ チャット画面で使えた

専門的な操作を覚えず、メッセージを送る感覚で利用できました。

どれか一つだけではありません。

これらが重なって、

AIと会話している。

と感じられる体験が生まれたんです🌱

⸻

■ 本当に「会話を理解」しているの？

ここは、今でも意見が分かれやすいところです。

ChatGPTは、会話の内容を踏まえて返事を作れます。

言い直しにも対応できます。

気持ちへ寄り添うような言葉も作れます。

でも、

人と同じように意味を理解し、感情を感じている

とまでは言い切れません。

言語モデルは、学習した言葉の関係と、今の会話の文脈を使って回答を生成します。

その結果が、とても自然だから、

・分かってくれている
・共感してくれている
・考えを持っている
・自信がある

ように見えることがあります。

ただし、自然な反応と、人と同じ内面があることは別です。

これはChatGPTを冷たく見るためではありません。

むしろ、

会話が自然だからといって、全部を任せすぎない。

ために知っておきたいことです。

AIは、相談の整理や文章作りを手伝えます。

でも、人間関係の決断。
健康や安全の判断。
誰かの気持ちを決めつけること。

まで、AIの言葉だけで決めない。

会話上手になったからこそ、距離の取り方も大切になったんですね。

⸻

■ 会話が上手でも、同じ言い回しを繰り返すことがある

ChatGPTが最初に公開された時、OpenAIは限界も説明していました。

たとえば、

・もっともらしいけれど誤った答えを作る
・質問の言い方が少し変わると回答が変わる
・長すぎる回答を作る
・同じ表現を繰り返す
・曖昧な質問でも確認せず推測する

といった問題です。

これは今でも、形を変えて残っています。

会話が自然になるほど、

ここまで丁寧に話すなら、正しいはず。

と思いやすくなります。

でも、前回までの記事でもお話ししたように、

分かりやすい文章と、正しい情報は別です。

会話が上手になったことは、大きな進歩です。

ただし、

会話上手＝何でも理解している
会話上手＝絶対に間違えない
会話上手＝人の気持ちを正確に読める

という意味ではありません🌱

⸻

■ AIとの会話は「完成品をもらう」だけではない

ChatGPTの登場によって変わったのは、

AIの答え方だけではありません。

私たちの使い方も変わりました。

以前は、

指示を入力する。
完成した文章を受け取る。

という使い方が中心でした。

でも会話形式になると、

まず案を出して。
もう少しやさしくして。
ここは残して。
この部分は違う。
別の例を出して。
最後に全体を整えて。

と、一緒に作れます。

AIの最初の回答を、

完成品

ではなく、

会話を始めるための下書き

として使えるようになったんです。

これによって、完璧なプロンプトを書けない人でも、

返ってきた答えを見ながら考えられるようになりました。

自分が何を求めているのか、最初は分からない。

という時にも使えます。

候補を見て、

「これは違う」
「この方向は好き」
「もう少しこうしたい」

と気づけるからです😊

⸻

■ 初心者さんは、どう会話すればいい？

難しい命令文を作る必要はありません。

最初は、次の4つだけ覚えておけば十分です。

① まず普通に頼む

この文章を、読みやすくしてください。

で大丈夫です。

② 違ったら、どこが違うか伝える

短くしたいけれど、体験談は残してください。

と追加します。

③ 分からなければ、質問してもらう

条件が足りなければ、作る前に質問してください。

と頼みます。

④ 最後に条件を確認する

今まで決めた条件を3つにまとめてから、完成版を作ってください。

と伝えます。

会話形式のよいところは、

一回でうまく頼まなくても、途中で直せること

です🌱

⸻

■ そのまま使える「会話で整える」例

たとえば、家族へ送るメッセージを作りたい時。

最初は、

家族に、今度スマホを見てもらいたいと伝える文章を作って。

だけで大丈夫です。

返ってきた文章が少し堅ければ、

もう少し普段話す感じにして。

長ければ、

3行以内にして。

頼みづらそうなら、

急ぎではないことと、断っても大丈夫な雰囲気を入れて。

と続けます。

最後に、

今までの条件を守って、完成版だけ出してください。

と頼みます。

この流れは、

メール。
SNS投稿。
旅行計画。
献立。
学習。
書類の整理。

など、いろいろな場面で使えます😊

⸻

■ AIと会話する時の注意

会話しやすくなると、つい詳しく話しすぎることがあります。

でも、

・本名
・住所
・電話番号
・勤務先の内部情報
・パスワード
・認証コード
・口座やカード情報
・本人や家族の詳しい健康情報

などは、そのまま入力しない方が安心です。

相談を整理するだけなら、

「家族」
「職場の人」
「近所の病院」
「利用しているサービス」

のように置き換えられます。

会話が自然だと、

相手が人のように感じられて、つい全部話したくなることがあります。

でも、AIへ伝えるのは、

答えを作るために必要な範囲だけ。

それで十分です🌱

⸻

■ ゆーみんメモ🌱

私は最初、ChatGPTを使った時、

こんなに普通に話していいんだ。

ということに一番驚きました。

AIを使うなら、

難しい命令文を書かないといけない。
専門的な言葉を知らないといけない。
一度で完璧に頼まないといけない。

そんなイメージがあったんです。

でも実際は、

「違う、もう少し短く」
「その言い方は少し強い」
「私はこう思っている」
「例を変えて」

と話しかけても、会話が続きました。

そこで初めて、

AIをうまく使うことは、

正しい命令を一発で出すこと。

だけではないんだと気づきました。

返ってきた答えを見ながら、

自分の考えを知る。
違う部分を言葉にする。
残したいものを選ぶ。

AIとの会話を通して、

自分が何を求めていたのか分かること

もあるんですよね。

AIが会話上手になったことで、

人が何も考えなくてよくなったわけではありません。

むしろ、

私は何を伝えたい？
どこが違う？
最後に何を選ぶ？

と、自分の考えを返す役割が増えました。

AIが話し、人が選ぶ。

その繰り返しが、今の会話型AIなのかもしれません😊

⸻

■ まとめ

今回は、

AIは、なぜ急に会話が上手になったの？

という疑問を見てきました。

ChatGPT以前にも、文章を作るAIはありました。

ただし、

文章を自然に続けることと、
人のお願いを聞いて答えることは別でした。

そこで、

① 人が望ましい回答例を見せた

質問に直接答える方法や、指定された形式を守る方法を教えました。

② 人が複数の回答を比べた

分かりやすく、役立ち、質問に合った回答を高く評価しました。

③ 指示へ従うAIが作られた

InstructGPTのように、人の依頼へ合わせやすいモデルが登場しました。

④ 会話形式で調整された

一回の質問だけでなく、前のやり取りを踏まえて答えられるようになりました。

⑤ チャット画面で公開された

専門知識がなくても、普通のメッセージのように話しかけられる入口ができました。

これらが重なって、

AIが急に会話できるようになった。

と感じる変化が生まれました。

でも、AIが人と同じ心を持った、という話ではありません。

人の会話をたくさん学び、
人が好む答え方を教わり、
前の文章を踏まえて、
自然な返事を作れるようになった。

その結果、

人にとって会話しやすいAIへ近づいた

という歴史です🌱

だから、最初から上手な指示を書けなくても大丈夫です。

まず普通に話す。

違ったら言い直す。

残したいことを伝える。

最後は自分で選ぶ。

ChatGPTは、一回で完璧な答えを受け取るための箱ではなく、

会話しながら、自分の求める形へ近づける場所。

そう考えると、少し使いやすくなると思います😊

まずは次にChatGPTを使った時、

最初の答えを完成品にせず、一つだけ注文を足してみる。

ところから始めてみてください。

「もう少し短く」でも、
「例を入れて」でも、
「私はこう感じる」でも大丈夫です。

AIを、もっと身近に。

ゆーみん

⸻

■ 次回予告📖

次回の「AIの歴史」では、

ChatGPTは、なぜ無料で公開されたの？

を予定しています。

完成してから売るのではなく、なぜ多くの人が試せる「研究プレビュー」として公開されたのか。

利用者から集まるフィードバックが、AIの改善と安全性にどう関わってきたのか。

初心者さん向けに、やさしく紹介します🌱

⸻

#ChatGPT
#AIの歴史
#生成AI
#InstructGPT
#AI初心者
#プロンプト
#AI暮らしラボ

※本記事は、OpenAIが公開したInstructGPTおよびChatGPTに関する公式資料をもとに、AI初心者向けに表現を簡略化してまとめています。会話型AIは自然な文章を生成できますが、人と同じように感情や意図を持つことが確認されているわけではありません。また、会話が自然でも誤った情報を含む場合があります。重要な数字・制度・健康・契約・安全などに関する内容は、公式情報や専門家の説明も確認してください。