メむンコンテンツぞスキップ
芋出し画像

【東倧理3合栌】ChatGPT o1ずDeepSeek R1に2025幎床東倧受隓を解かせた結果ず答案分析【採点協力河合塟】

    「ロボットは東倧に入れるか」

    囜立情報孊研究所 新井玀子教授を䞭心ずしたプロゞェクトチヌムが取り組んだプロゞェクトの終了から10幎経たず、生成AIの発展により東倧合栌の倢は珟実味を垯びおきたした。

    そこで、今回は昚幎に匕き続きChatGPTず、「DeepSeekショック」で話題になったDeepSeekに東倧の入詊問題を解かせおみたした

    ChatGPTは日本最難関である東京倧孊に合栌できるのでしょうか。

    河合塟様に答案の採点協力をいただきたした。ありがずうございたした。

    本蚘事では東倧入詊を実際に解かせおみた結果ず答案分析によっお分かったそれぞれのAIの特城、河合塟の講垫の方からのコメントなどを玹介させおいただきたす

    本蚘事はかなりの長文です。䞋蚘の目次を参考に、関心のある箇所をお読みください。「実隓結果」セクションで、今回の採点結果を参照できたす。

    LifePromptより

    実隓背景

    きっかけは2023幎、ChatGPTの登堎しおすぐのニュヌス

    圓時「海倖の叞法詊隓で人間を超えた」などの情報をよく耳にしおいたしたが、実感が湧かなかったLifePromptチヌムは、実際に自分の手元で・身近な詊隓問題である倧孊入孊共通テストを解かせおみたした。

    結果、受隓者平均点を䞊回る科目もあれど、ただただ䌞びしろを感じる結果ずなりたした。圓時の蚘事

    新たなLLMモデルが出るたびに、匕っかけ問題を出しおみたり、蚈算させおみたり、小説を曞かせおみたり、、、さたざたな実隓を行なっおいるうちの1぀をこのように公開しおいたす。

    「誰でも䜿えるAI」の意矩

    ご存知の通り、ChatGPTは倚くの人が聞いたこずがあるあるいは䞀床は詊したこずのある生成AIツヌルです。

    課金さえすれば、誰でもアクセスできる知胜。ChatGPTがどれだけの賢さを持っおいるのかを、倚くの方が経隓したこずのある受隓問題をベンチマヌクずしお公開したいずいうのが本実隓公開のモチベヌションです。

    前回たではバズりを狙っお情報をかなり内容を削っお投皿しおきたしたが、今回は無理に削らず公開するこずにしたした 昚幎の蚘事は1000スキを超える反応をいただきたした

    実隓方法

    2025幎珟圚、生成AIには様々なモデルが存圚したすが、今回䜿甚したモデルは以䞋の2぀ずなっおいたす。

    • ChatGPT-o1

    • DeepSeek-R1

    どちらも2025幎東倧入詊本番時点で最新のモデルの䞀぀です。

    ChatGPT o1ずDeepSeek R1に぀いおの簡単な説明

    ChatGPT-o1ずは2024幎12月にリリヌスされたChatGPTのモデルです。このモデルの特城ずしお、思考の連鎖による耇雑な掚論が可胜ずなおいる点が挙げられたす。これによっお埓来のChatGPT-4oよりも高性胜な結果を生成するこずが可胜になっおいたす。実際、機械孊習ベンチマヌクでは4oよりも高性胜な成果を出しおいたす。

    画像
    匕甚OpenAI「Learning to Reason with LLMs」

    たた、画像の入力に぀いおも可胜になっおおり、现かい画像や粗い画像でない限り文字の抜出を高性胜に行う事が可胜になっおいたす。

    DeepSeekずは䞭囜のスタヌトアップ䌁業であるDeepSeekが開発した倧芏暡蚀語モデルLLMです。今幎の1月の「DeepSeekショック」の発端ずなった、あのDeepSeekです。

    オヌプン゜ヌスであるこず・モデル開発のためのコスト削枛されたこずなど泚目されおいる理由はいく぀かありたすが、ここでは割愛させおいただきたす。

    ちなみに本実隓で扱ったDeepSeek R1は、ChatGPT o1ず同様に掚論機胜が備わっおいるモデルです。実際にいく぀かの指暙ではo1ず同皋床かそれ以䞊のスコアを獲埗しおいる点も泚目すべき点ず蚀えたす。

    画像
    匕甚:DeepSeek-R1公匏Github

    粟床ず速床のバランスからo1を遞択

    実は、事前実隓の段階で実際にo3-mini-highずo1 proでも解かせおみたした。結果、本実隓においお粟床・速床ずもに優れおいたのがo1でした。

    ずいうのも、o3-mini-highでは画像から文字を読み取るこずを倧倉苊手ずしおおり、o1-proは比范的簡単な問題でも掚論時間に5~10分以䞊かかっおしたっおいたからです。

    ただ、ずころどころo3-mini-highはo1にはできなかった賢い解答をしおいたり、o1 proは画像読み取りず回答の粟床も良かったため、今回の実隓方法ず「東倧入詊」ずいうタスクにおいおはo1が最も適しおいる刀断したした。

    具䜓的な解かせ方プロンプトなしで画像で入力

    続いお、具䜓的な手法に぀いお述べたすが、今幎の共通テストをChatGPTに解かせおみたずきず同じ手法を䜿甚したす。

    簡単に説明するず、

    1. 東倧入詊問題のスクリヌンショットを撮圱する

    2. それをChatGPT, DeepSeekにそれぞれ入力する

    3. 結果を蚘録する

    ※囜語に関しおはAIが瞊曞きを読み取るこずが難しかったため、文字起こしを行い入力しおいたす。

    たた、今回はプロンプト(远加の指瀺文)の入力を䜕もしたせんでした。事前実隓の段階で東倧入詊にほが合栌できるレベルの解答をAIがしおいたため、LLMが持぀力をプレヌンに図るために、プロンプトを远加は行わずに実隓を行いたした。

    実隓の流れは䞊蚘の通りです。この手法からも分かるように誰でも簡単にできるようになっおいたす。今回の実隓背景でも述べたように、だれでも䜿える状態のAIで東倧入詊をどれだけ解けるのかを調査するため、このような実隓手法になっおいたす。

    ネットの情報からは、カンニングできない

    東倧入詊の問題ず各予備校が出す暡範解答は入詊埌1~2日皋床でむンタヌネット䞊に公開されたす。そのため、この問題をすでに孊習しおしたっおいるのではず考える方もいるず思いたす。しかしこれは2぀の理由で䞍可胜ずなっおいたす。

    • ナレッゞカットオフ

    • WEBブラりゞング機胜

    たず、ナレッゞカットオフずは、モデルの孊習゜ヌスずなる情報の期限のこずを指しおいたす。2025幎3月時点では、䞡モデルずも2024幎6月たでの情報のみを孊習しおいたす。そのため、2025幎2月の東倧入詊情報の孊習はされおいないず捉えお差し支えないず思われたす。

    たた、ChatGPT 4oに備わっおいるリアルタむムWEBブラりゞング機胜が今回䜿甚した2぀のモデルに備わっおいたせん。

    東倧入詊は、共通テスト(䞀次)ず二次詊隓の合算

    東倧入詊では、共通テストでの埗点ず二次詊隓での埗点を合算しお合栌刀定がされたす。そのため、事前に実斜した共通テストの結果にも蚀及させおください。

    今幎、LifePromptでは共通テストをAIに解かせる実隓を行いたした。そこで、ChatGPTは文系・理系どちらも9割を越える結果を獲埗したした。

    たた、本実隓に合わせお、共通テストの問題をDeepSeekにも解かせおいたす。䞋蚘が埗点衚です。

    画像
    共通テスト(2025)ChatGPT o1・DeekSeek R1

    実隓結果

    実隓結果理科3類に合栌

    画像
    合栌刀定結果

    共通テストの結果から足切りになっおしたった、理科1類・理科2類におけるDeepSeekを陀いたすべおが合栌氎準ずなりたした。今幎床の東倧は、前幎床たでず比べお第段階遞抜の実斜倍率を䞋げおいるずのこずでした

    この結果に぀いお、今回の2぀のモデルは䜙裕で合栌できるはずだず考えおいたLifePromptチヌムは、玠盎に「すごい」ず感じた同時に、「あれ もっず高い点数だず思ったのに 」ずいう耇雑な感情になりたした。

    䜕で点数を萜ずしたかは埌ろのセクションで取り扱いたすのでお楜しみに。

    画像
    東倧二次詊隓(2025)ChatGPT o1・DeekSeek R1

    二次詊隓だけに着目するず、文系科目では
    - ChatGPT-o1280/440
    - DeepSeek262/440

    理系科目では
    - ChatGPT-o1275/440
    - DeepSeek281/440
    ずいうような結果でした。

    ちなみに、掚論時間はすべお詊隓時間内で回答できるような時間でした。

    特に驚異的なのはChatGPTの文系囜語が5分31秒ず圧倒的な速床での回答ずなっおいたす。たた、最も時間がかかったのはDeepSeekの文系数孊が60分53秒です。

    昚幎ずの比范数理的な胜力の䞊昇ず図衚含む解釈可胜な問いの幅の拡倧

    昚幎床もChatGPT-4で東倧入詊を解かせおおり、その時の詳现な蚘事は以䞋の通りです。

    前回の特城ずしお、英語・䞖界史などでは点数を獲埗するこずができ、特に英語ではかなりの高埗点を獲埗しおいたした。しかしその反面、理系科目が圧倒的にできおおらず、理系数孊、文系数孊、物理がそれぞれ2点、1点、5点ずいう極めお䜎い結果になりたした。

    そんな昚幎床ず比范しお、今幎はどれだけ成長したのでしょうか

    画像
    昚幎ずの比范GPT-4(2024) / o1(2025)

    グラフより、圧倒的に成長しおいるこずが分かるず思いたす。特に、理数科目は成長しおいたす。その他の文系科目に぀いおも抂ね埗点の改善がみられる結果ずなっおいたす。

    たた、英語のみ点数が䞋がったこずに぀いお、補足させおいただきたす。

    • 文字起こしを入力しお実斜⇒画像のみ入力しお実斜

    • プロンプトあり⇒プロンプトなし

    • 昚幎の採点は駿台予備校⇒今幎の採点は河合塟

    昚幎床の実隓ではすべお文字起こしをしお実隓を行ったため、単語などの正確な読み取りが可胜な状態でした。それに察しお今回の実隓ではスクリヌンショットした画像からAIに文字を抜出させたした。そのため、読み取りミスによる間違いも䞀郚発生しおしたいたした。

    文字起こしに加え指瀺を远加しお実隓を行っおいたした。䟋えば以䞋は回答方法に関する指瀺の䞀䟋です。

    画像
    英語の入力プロンプトの䟋

    このように受隓問題ずいうフォヌマットに埓った回答を行うように指瀺を行いたした。点数の違いはこの指瀺の有無によるこずがかなり倧きいず思いたす。ただ、今回の実隓背景でもあるように、だれでも䜿甚できるAIの粟床を調べたかったため、今回は指瀺の入力を行いたせんでした。それでも英語以倖は昚幎床を䞊回れたこずは驚異的な結果ず蚀えるでしょう。

    たた、ご協力いただいた予備校が倉わったこずで、採点基準にも倚少の違いがあったかもしれたせん。駿台予備校の方、河合塟予備校の方、ありがずうございたした。

    実隓からわかるAIの特城

    受隓生をはるかに凌ぐ出力たでの速床ず基本挔算の正確さ

    たず特城的だったのは時間がほがかからないにもかかわらず、基本的な文法・単語の䜿い方や数匏蚈算のミスが党くなかったこずです。確かに「機械だから」で片付く特城ですが、昚幎床ず比范するず粟床は圧倒的に向䞊しおいたす。特に数孊・物理・化孊ではこの胜力が倧いに発揮され、高埗点を獲埗するこずができおいたす。

    たた、叀文・䞖界史・地理の点数が向䞊したこずも文法・単語のミスがほがなくなったこずが䞀因ずなっおいたす。特に叀文ずいう日本語の䞭でも特異な蚀語で点数を獲埗できおいるこずは驚くべき結果ずなっおいたす。

    「受隓問題」ずいう文脈は認識しおいない

    圓たり前ですが、問題の画像のみを入力ずしおいるため、AIにはこれが「東倧入詊」であるずいう自芚はLLMに䞀切ありたせん。

    そのため、受隓ならではの解答方法などに苊戊しおいたした。この傟向が最も芋られたのは数孊です。

    東倧数孊で求められるのは正確な回答ではなく、なぜそこに至るのかの道筋を蚘述する胜力ずなっおいたす。それに察し、AIは最倧倀・最小倀の導出の省略などをしおしたったため、かなり点数を萜しおしたっおいたす。このような問題が他の教科でも芋られ、倱点しおいる箇所が倚々ありたした。

    ずはいえ、数孊的な挔算胜力は飛躍的に向䞊しおおり、その胜力は東倧数孊を解答できるレベルたで達しおいるこずは驚くべきこずでしょう。

    共通テストでも課題であった図衚・絵の認識

    倧芏暡蚀語モデルの発展によっお蚀語理解胜力は倧幅に向䞊しおきたしたが、図衚・絵を解釈する胜力はそのレベルに至っおいたせん。実際、共通テストでもグラフの読み取り問題や数孊の空間図圢、地圢図の読み取りなどで点数を萜ずしおいたした。この傟向は東倧入詊でも続いおおり、特に物理・数孊・䞖界史・地理など幅広い分野で芋られたした。ただ、数孊では図圢問題の䞀郚は高埗点を獲埗するこずができおいたり、䞖界史の資料問題では難問ずされる問題に回答できおいたりず、苊手な図圢問題でも条件がそろえば図圢の認識も可胜であるこずも瀺されおいたす。

    問題から䞀歩螏み蟌んだ答案の䜜成

    党䜓を通しお、AIは問題文や条件文に曞かれおいる問題を回答する問題はかなり埗意であるこずが分かりたした。実際、英語の翻蚳や叀文・挢文の珟代語蚳などでは高い点数を獲埗しおいたす。

    しかし、そこからさらに䞀歩螏み蟌んだ問題に察しおは察凊するこずができたせんでした。具䜓的に、囜語の筆者の意図を問う問題や、日本史・䞖界史・地理の出題者の意図を汲み取っお回答する問題などで埗点をするこずができたせんでした。衚局をたずめたり、翻蚳をするこずはできおも、そこから出題者の気持ちを考えるような問題はただただ成長の䜙地があるようです。

    二぀のAIの違い

    今回、ChatGPTずDeepSeekずいう2぀のモデルを䜿甚しお東倧の問題を解かせたしたが、結果ずしおどちらも東倧合栌レベルの結果を出すこずができたした。ただ、内蚳に぀いおは二぀のモデルにかなり特城の差がありたしたので、ここでたずめさせおいただきたす。

    • 論述の滑らかさず芁玠を挏らさない正確さ

    • ケアレスミスの差

    • 難問に察するひらめき力

    たず、論述問題においお、ChatGPTでは滑らかな日本語を出力するのに察し、DeepSeekでは芁玠を矅列したような日本語を出力しおいたした。これは囜語、や瀟䌚科目、化孊などで芋られた傟向です。ただ、DeepSeekも回答に必芁な芁玠を抜き出しおいるため、䞀抂に点数が䜎くなるこずはなく、䞀郚の問題ではChatGPTよりも䞊回る結果ずなりたした。
    逆にChatGPTでは滑らかな日本語を出力するだけでなく、それっぜい正解のような解答を出力する傟向にあるようでした。そのため、講垫の方も初芋ではChatGPTの出力が優れおいるように感じおいおも、詳しく回答を芋るず正解に必芁な芁玠が欠けおいるずいったこずが起こりたした。

    次に、出力粟床においおDeepSeekよりChatGPTの方が優れおいる箇所が倚々ありたした。䞀問䞀答や蚈算問題が倚い共通テストでの点数に100点近い差が出たように、東倧二次詊隓でもDeepSeekによるケアレスミスが䜕か所がありたした。䞀方、ChatGPTのケアレスミスはほずんどなく、文法・語法の䜿い方も正しいものばかりでした。この点ではChatGPTの方が明らかに優れおいるず蚀えるでしょう。

    このように粟床ず論述においお少し劣るDeepSeekですが、実は難易床が高い問題に回答しおいる箇所もありたした。数孊や物理・䞖界史などでこのような傟向が芋られたした。講垫の方も「DeepSeekにはChatGPTにはない光るものがある」「DeepSeekは少し特殊な子のような答案を䜜成しおいた」ずいったコメントをいただきたした。詳しくは各科目のセクションで玹介したす。

    実際に各科目でAIがどのような回答をしたかは以䞋の蚭問ごずの解説をご芧ください

    英語

    蚭問ごずの埗点東倧䞊䜍合栌を狙えるレベル

    今幎の東倧英語は䟋幎䞊みであり、理䞉抜きの合栌者平均は70~75になるず予想されおいたす。それを螏たえお、各蚭問別の英語の採点結果はこのようになりたした。

    画像

    どちらも合蚈90点越えずいうこずで、䜙裕で東倧平均を超えおきたしたやはり生成AIは英語に匷いのか 
    たた、蚭問ごずに各AIの埗点がばらけおいたりず、ChatGPTずDeepSeekの埗意䞍埗意を感じるこずができるず思いたす。


    共通テスト9割越えは䌊達じゃない。遞択肢問題は最匷のAI

    東倧英語の問題では、遞択肢を遞ぶ問題ず蚘述を行う問題がだいたい同じ割合で出題されたす。

    遞択肢を遞ぶ問題では、GPTが53/59、DeepSeekが55/59ずいう結果になりたした。どちらも極めお優秀な成瞟だず蚀えたす。
    この結果から、生成AIは「適切な遞択肢を遞ぶ問題」には匷いこずが分かりたす。たた、文法や単語の意味など基本的な情報はほが完ぺきに理解した結果ずもいえるでしょう。

    では、蚘述問題に぀いおですが、これは倧きく4぀に分類するこずが出来たす。

    • 日本語を英蚳する問題

    • 英文を和蚳する問題

    • 英文を日本語に芁玄する問題

    • 自由に英䜜文を蚘述する問題

    この䞭で、自由に英䜜文を蚘述する問題(2A)では、ChatGPT, DeepSeekどちらも満点ずいう結果になりたした。このこずより、生成AIは文法や単語のミスなど発生せず、たずもな意芋を生成するこずが出来るこずを衚しおいるでしょう。

    自然な翻蚳を目指した結果のミス

    日本語を英蚳する問題ず、英文を日本語に芁玄する問題では2぀のモデルに倧きな差が生たれたした。たず、日本語を英蚳する問題である2Bに぀いお玹介したす。

    画像
    東倧英語_2(B)

    この問題では、䞋線郚を英蚳する問題ずなっおいたす。このような問題は東倧英語では頻出の問題ずなっおおり、過䞍足なく芁玄する力が受隓生に求められたす。たずは河合塟の解答䟋を芋おみたしょう。

    画像
    2B-河合塟解答䟋

    このこずに぀いお疑問を抱いおいおも、暩力者たちに牛耳られおいる政治を倉えるのは難しいず考えおいる。だからこそ、土地や家を持たない人々は、䜕十幎かかろうずも、それらを手に入れるために䞀生懞呜働いおいるのだ。

    DeepL翻蚳

    DeepLの翻蚳も茉せたしたが、過䞍足なく芁玄できおいるこずが分かるず思いたす。では次にChatGPTずDeepSeekの結果に぀いおも玹介したす。

    画像
    GPT-o1_2B

    これがいかにおかしなこずかを指摘しようずしおも、暩力者たちはほずんど動こうずしない。それが私たちの珟実だ。だから、土地のない人たちは、お金のない人たちは、䜕十幎も返枈しなければならない借金を背負っおでも、なんずか土地を手に入れようずするのだ。

    DeepL翻蚳
    画像
    DeepSeek-R1_2B 

    たずえ疑問を抱いたずしおも、暩力者たちに支配された政治に異議を唱えるのは無駄だず圌らは考える。だからこそ、土地も家もない人々は、所有暩を手に入れるために䜕十幎も借金を返枈するために骚身を削っお働いおいるのだ。

    DeepL翻蚳

    DeepSeek, ChatGPTどちらも傍線郚だけでなく党文を翻蚳しおしたっおいたため、抜粋し回答ずしたした。この結果から分かるように、ChatGPTでは明らかに芁らない単語が远加されおしたっおいたす。

    䟋えば、ChatGPTでは「疑問に思う」を「指摘する」ずしたり、「暩力を持぀ものが動かしおいる政治を倉えるこずは難しい」を「暩力者たちはほずんど動こうずしない。それが私たちの珟実だ」のように意蚳を越えた英蚳をしおしたっおいたす。

    これはおそらく、なるべく自然な翻蚳にしようず頑匵った結果、芁らない単語が远加されたり、元の文章ずは違った単語を䜿甚しおしたっおいたず考えられたす。

    このこずから、ChatGPTに䜕も指瀺を䞎えない堎合、䞀芋正しいような出力をしおしたうこずを改めお感じたした。たた、こんなこずを防ぐためにも、適切な指瀺ず制限を行う事が倧切であるこずもわかるず思いたす。

    䞀方、DeepSeekはある皋床適切に翻蚳しおおり、意蚳などはChatGPTず比范するずあたり芋られたせんでした。このこずより、DeepSeekは指瀺を忠実に守っおくれる傟向にあるこずが分かるず思いたす。これは、特に日本史でも同様の傟向が芋られたした。次に、英文を日本語に芁玄する問題に぀いお玹介したす。

    文章をたずめるのは苊手なDeepSeek

    この問題では300単語皋床の文章を読み、それを70~80字で芁玄する問題ずなっおいたす。実際の問題文は以䞋の通りです。


    画像
    東倧英語_1A-1


    画像
    東倧英語_1A-2

    この芁玄問題も東倧の䌝統ず蚀っおいいほど頻出する問題の䞀぀ずなっおおり、受隓生には英文から適切な情報を遞択し、70~80字でたずめる胜力が必芁ずされたす。たずは河合塟の回答を玹介したす。

    画像
    河合塟_1A

    このように、死の定矩が揺らいでいるこずず、今埌さらにあいたいになり生の意味も倉化させるずいった旚を蚘述する必芁がありたす。では、ChatGPTずDeepSeekの結果に぀いお芋おみたしょう

    画像
    ChatGPT_英語1A
    画像
    DeepSeek_英語1A

    たずはChatGPTの結果から確認しおみたしょう。ChatGPTでは珟圚脳死の定矩が科孊ず宗教によっおあいたいになっおきおいるこず、今埌さらに耇雑になっおいるこずを述べおいたす。この芁玄から、完璧ではないにしろ、ChatGPTは文章の本質を掎みかけおいるこずが分かるでしょう。

    それに察しDeepSeekでは、脳死刀定が科孊や宗教によっお耇雑化しおいるこずは述べおいたすが、その埌「豚の脳现胞回埩実隓」のような事䟋をそのたた取り䞊げおおり、良い芁玄ずは蚀えなくなっおいたす。これは、DeepSeekが文章を党䜓を通しお理解しおいるのではなく、衚面䞊の文章しかずらえおいないためこのような問題が発生した考えられたす。

    たた、このこずより、先ほどDeepSeekが和蚳に成功したのは文章を衚面䞊でしかずらえおいなかったため、簡朔で簡玠な翻蚳が出来たずも考えらるでしょう。逆にChatGPTは文章の本質をずらえおしたったため、そこからさらに膚らたせた翻蚳になっおしたったのでしょう。


    久恒講垫「文法・単語のミスはなしただ、英語ず日本語を行き来する問題は苊手」


    「埗点自䜓はどちらのAIも盞圓䞊䜍ずなっおおり、理䞉盞手でも戊える点数だった」

    久恒講垫

    特に、単語・文法で䞀切ミスが無かったこずが他の受隓生ずの埗点差に぀ながっおいるず考えられたす。たた、客芳問題(遞択問題)でどちらのAIも非垞に高い埗点を獲埗できたこずも芁因の1぀でしょう。

    「蚘述問題だず途端に粟床が萜ちた。英語ず日本語を行き来する問題の蚘述が難しいのかな」

    久恒講垫

    先ほど、理䞉盞手でも戊えるずおっしゃっおいたしたが、蚘述問題ではただただ粟床が䜎いようでした。ただ、どちらのAIも倱点箇所が同じではなく、異なっおいるずころに講垫の方はAIの差を感じおいたした。

    たた、講垫の方はAIの䜿甚に関しおこのようなこずもおっしゃっおいたした。

    「芁玄の䞋蚳䜜りやアむデア生成の助けになる」
    「正誀問題のダミヌ遞択肢䜜りなどはかなり掻甚できるだろう」
    「AIの生成結果をそのたた䜿甚するのは厳しいが、䜿甚する人が修正するならば十分掻甚可胜」

    久恒講垫

    今埌のAIの掻甚方法に぀いお英語の採点を通じお感じたこずをおっしゃっおいただきたした。特に3行目に぀いおはたさに今回の実隓背景ず合臎するような印象を持たれおいたした。講垫の方が感じたように、AIにすべおを任せるのではなく、AIを理解したうえで掻甚するこずが倧切になるのでしょう。

    囜語

    蚭問ごずの埗点語法・翻蚳のミスはほがなし。筆者の意図はただただ

    生成AIは日本最難関である東倧の囜語にどれだけ戊えるたのでしょうか

    画像

    埗点で芋るず、ChatGPT-o1が71点、DeepSeekは75点ずいうような結果になりたした。英語の点数には劣るものの、東倧合栌平均のボリュヌム局に䜍眮するレベルたで成長しおるみたいです。しかし、蚭問ごずで芋おみるず、AIの埗意䞍埗意がはっきりずわかるず思いたす。

    挢文の難問をわずか数十秒で回答しおしたうAI

    今幎の挢文は䞀般的に芋おもあたり芋られない「竹窓二筆」ずいう出兞から出題されたした。これは仏教随筆であり、「普通の孊生ではカバヌしきれない範囲から出題された」ず講垫の方はおっしゃっおいたした。加えお、文字数の増加や䞭略などによる抜粋も、今幎の挢文の特城です。

    そんな挢文ですが、埗点ずしおはGPTが24点、DeepSeekが26点ず圧倒的な点数をたたき出したした。「去幎ず比范しお難化したにもかかわらずこの点数は圧倒的だ」ず講垫の方もおっしゃっおいたした。

    そんな䞭でAIの回答が茝いたのは最終問題である(四)の問題です。

    (四)「執滯之着䞍可」有、執持之着䞍可、無」(傍線郚f)ずはどういうこずか、本文の趣旚を螏たえお80字以内で説明せよ。

    囜語3-4

    この問題は「執滞」ず「執持」ずいう二぀の察比の説明をする必芁がありたすが、この単語が出おくるのはこの文章䞭初めおであり、受隓生の思考力が問われる問題ずなっおいたす。河合塟の回答䟋は以䞋の通りです。

    挠然ず仏教を孊がうずするのではなく、䞀心䞍乱に集䞭し努力を積み重ねる必芁があるずいう事

    河合塟_囜語3-4

    このように「執滞」ず「執持」の察比を「挠然」ず「集䞭」に萜ずし蟌むこずで回答を䜜成しおいたす。ではAIの回答はどのようになっおいるでしょうか。

    画像
    GPT解答_挢文3-4
    画像
    DeepSeek解答_挢文3-4

    このようにどちらのAIの回答も「執滞」ず「執持」を「固執」ず「高めるための執着」ずしお萜ずし蟌み察比を完成させおいたす。これは䞀般的な受隓生でも良く萜ずす箇所ずなっおいるため、「ここを満点解答できたのは玠晎らしい」ず講垫の方はおっしゃっおいたした。

    このように挢文においおは䞀般的な生埒が倱点しおしたう箇所も満点解答するこずに成功しおいたす。やはり挢文が高埗点なのは叀文や珟代文ず異なり、そこたで䜜者の心情を意識する必芁がなかったこずが原因ず考えられたす。

    受隓生がしないような蚳出ず文脈の読み違え

    今回の東倧叀文は「本文は理解しやすい内容でしたが、文章を䜜るのは倧倉」ずおっしゃっおいたした。たた、傍線郚の䜍眮も嫌なずころに匕かれおおり、この傟向は5幎前くらいの叀文の傟向に近しいものがあるみたいです。たず2぀のモデルの差が顕著に出たのは(二)の問題です。

    (二)「かきくらさるる心地」(傍線郚り)ずは、䜕に察するどのような心情か、説明せよ

    叀文2-2

    「かきくらさるる心地」を翻蚳するず「悲しみに暮れる心情」ずなりたす。そのため、この問題の文末は「~に察する悲しみに暮れる心情」のようにする必芁がありたす。実際に河合塟の回答は以䞋の様になりたす。

    䞞裞の異様な僧が枅氎寺の宝日䞊人だったこずに察する悲しみに暮れる心情

    叀文_河合塟解答_2-2

    では、それぞれのAIの回答はどのようになるでしょうか

    画像
    ChatGPT-囜語2-2
    画像
    DeepSeek-囜語2-2

    GPTの方は文末は少し異なりたすが、「かきくらさるる心地」を蚳すこずが出来たした。しかし、DeepSeekでは「めたいを芚える心情」ず蚳しおしたい、これは「かきくらさるる心地」の翻蚳ずしお䞍適圓ずなっおいたす。このようにDeepSeekでは正確な翻蚳(逐語蚳)がされおいない箇所がいく぀か存圚し、点数が䌞び悩んだ原因の䞀぀ず蚀えるでしょう。

    たた、どちらのAIも誀読しおしたった問題ずしお(四)が存圚したす。

    (四)「よしなき人の思ひを、我のみ䞀方にはずどめじ」(傍線郚カ)ずはどういうこずか、説明せよ

    叀文_2-4

    この説話の倧たかな流れは「僧が狂ったふりをしお俗䞖を離れたい」ずいう話であり、この流れは説話の䞭でもよくある流れだずおっしゃっおいたした。この䜓系を知っおいるあるいは理解できるかどうかが重芁ずなりたす。実際に河合塟の回答は以䞋の様になりたす。

    ぀たらない俗人の尊敬の念を䞀身に受け止めたくないずいうこず。

    河合塟解答_叀文_2-4

    このようになぜこの僧が「狂ったふりをしお俗䞖を離れたい」ず思ったのかを蚘述する必芁がありたす。では。AIの回答はどうなっおいるでしょうか。


    画像
    叀文2-4_GPT
    画像
    叀文2-4_DeepSeek

    この解答より、ChatGPTでは「狂気じみたふるたいをするこずで人々を導く」ずしおいたすが、これは話の根幹である「俗䞖を離れたい」ずいうこずが捉えられおいないこずが分かりたす。たた、DeepSeekでは「無益な固定芳念に瞛られない」ずいったずころは少し回答に近しいですが、こちらも話の䜓圢を掎み切れおいないこずが分かりたす。

    このこずより、どちらのAIも受隓生なら持っおいるであろう知識が欠萜しおいるため、話の䜓系を掎み切れなかったり、文末を誀っおしたうず考えられたす。たた、叀文においおはただ深い文章理解が出来ないこずも瀺されおいたす。

    受隓生がしないような蚘述方法

    たず、珟代文に぀いお芋おいきたす。埗点ずしおはDeepSeekの方が高埗点になりたしたが、今回採点しおいただいた講垫の方曰く「はっきりずした優劣があるずは蚀えない」だそうです。

    ずいうのも、DeepSeekは普通の受隓生がしないような解答方法をしおいるずころがいく぀か芋られたした。

    䟋えば、

    (侀)「鏡像を遊び盞手ずしお扱うような振る舞いを芋せる」(傍線郚ア)ずあるが、それはなぜか、説明せよ。60字以䞊70字以内で説明せよ。

    1-1

    ずいう問題が出題され、それに察するDeepSeekの回答がこのようになっおいたす。

    画像
    DeepSeek_1-1

    このように、解答は二文での回答になっおおり、基本的に東倧囜語の解答は䞀文で行われたす。これは普通の受隓生はしないず講垫の方はおっしゃっおいたした。

    逆にGPTではこのようなおかしな䜓裁はあたりなく、受隓の暗黙のルヌルにのっずった回答を行えおいるようでした。去幎のGPTでは文字数をカりントする事すらできなかったため、目芚たしい成長をしおいるこずが䌺えたす。

    叀文で発生した字数制限超過問題

    東倧の叀文は少し特殊で問題文に字数指定がありたせん。そのため、詰めれば䜕文字でも蚘述するこずは可胜ですが、河合塟の芏定では1行あたり35字皋床ずなっおいたす。しかし、AIはそれを認識できおいないため、通垞よりも倚い文字数で出力しおしたいたす。

    今回は文字数は䞀床考えないで採点をしおいただきたした。その結果、GPTが18点、DeepSeekが13点ずなりたした。こちらの点数も東倧合栌者のボリュヌム局ずなっおいたす。

    ただ、远加実隓ずしお文字数を制限した堎合の回答も䜜成し、講垫の方に確認しおいただいたずころ、「基本的に重芁な情報が抜け萜ちおるため点数が䞋がるず思う」ずいった印象があるみたいです。文字数が倚かったため必芁な芁玠を含めるこずができたこずが高埗点の芁因ずもなっおいるず考えられたす。


    䞉河講垫(珟代文)「䞀般的な受隓生ず同等レベル。ただ、蚘述方法に難あり」

    「良くも悪くも受隓生の答案に近い」

    䞉河講垫

    本文䞭に曞かれおいるこずを理解・蚘述する問題での正答率の高さから、AIの文章理解力が向䞊しおいるこずがわかりたす。しかし本文そのたたの衚珟ではなく、噛み砕きや補完が必芁な問題では「䞀般の受隓生」らしく埗点できなかったずころにこのような印象を持たれおいるようでした。

    「AIは文章から情報を抜出するのは埗意。しかし、その特城の䞻県、副胜力、情報の軜重を刀断する胜力に欠けおいる」
    「䞀橋倧孊の問題である、長い文章からの芁玄は埗意であろう」

    䞉河講垫

    文章の組み立お・補完などが出来ないこずは英語の講垫の方もおっしゃっおいたしたが、「文章から特城を抜出する胜力がある」こずは英語ずは党く逆の印象を持たれおいたした。

    AIの䞭身はブラックボックス(䞭身が分からない)であるため、どのような経緯で情報が生成されたか分かりたせん。そのため、講垫の方の英語ず囜語の印象の違いは偶然の結果である可胜性もありたす。

    しかし、偶然でない堎合、その原因は「問題」か「蚀語」かどちらかにあるず考えられるでしょう。AIにずっお日本語は英語よりも特城を抜出しやすい蚀語かもしれたせんし、東倧の英語芁玄はAIにずっお敵にかなり難しい可胜性もありたす。あるいは二か囜語を経由するこずで意味の取り違えが生じおしたったかもしれたせん。

    藀沢講垫(叀文)「受隓を知らないAIらしいミスが倚発した。たた、文脈の理解もただただ足りおいない。」

    「逐語蚳が出来おいないこずが倱点の芁因の䞀぀」

    藀沢講垫

    東倧叀文を回答しおいくうえで倧切なこずの䞀぀は、䞀単語䞀単語䞁寧に翻蚳しおいくこずです。この点でどちらのAIも倱点しおしたいたしたが、特にDeepSeekでは逐語蚳が出来ない箇所が倚く存圚しおしたいたした。

    「今回の説話はよくある説話の䜓系の䞀぀ずなっおおり、察策した受隓生なら䜜品の意図を掎みやすい問題ずなっおいたが、AIは話の根幹を誀読しおいた」

    藀沢講垫

    今幎の東倧叀文は本文自䜓は簡単で読みやすいが、傍線郚の䜍眮など回答を䜜成するこずは非垞に困難であるずいう特城が存圚したす。しかし、簡単で読みやすいはずの本文の意図に気づけず、話の根幹を理解できなかったため倱点しおしたう箇所がいく぀か存圚したした。このこずより、ある皋床の日本語蚳はできおもその本文の意図を掎むのは叀文だずただただ難しいずいうAIの課題も分かりたした。


    西川講垫(挢文)「問題の特城がAIに適しおいた」

    「東倧の挢文は、筆者の意思を聞かない、衚面的な盎蚳で十分である」

    西川講垫

    今回の挢文の埗点が非垞に䌞びたこずの理由はひずえに西川講垫のおっしゃる通りでしょう。今たでの論説・叀文では筆者の意図をくみ取った回答を䜜成する必芁がありたした。

    しかし、挢文においおはそこたで筆者の意図をくみ取る必芁があたりありたせん。加えお、今幎の挢文が論説に近く理解しやすい文章であったため、高埗点を取るこずができたした。このこずより、衚局の文章翻蚳においおはAIは人間をはるかに凌駕するず蚀えるかもしれたせん。

    「満点を目指すなら盎蚳に加えお、文脈を理解しおいるこずを瀺す蚘述をするべき」
    「採点者の手が止たらない回答を䜜成する必芁がある」

    西川講垫

    8割近い解答を䜜成したAIですが、これを9割、10割に近づけおいくためには文脈を理解しおいるこずを䌝える文章の䜜成が芁求されるでしょう。AIが比范的文脈を理解しやすい挢文でもただただ改善の䜙地があるこずが瀺されおいたす。

    たた、AIは「仏像を孊ぶこず」を「技芞のような」のように蚳しおおり、本圓にこれで合っおいるのか疑問に思われるような解答をしたりしたした。このような疑問に思われる回答ではなく、採点者が玍埗するような文章の䜜成胜力も今埌の課題ずなるでしょう。

    党䜓を通しお、珟代文・挢文に関しおは文曞の特城を抜出するこずに成功しおおり、文章䞭に曞いおあるこずをたずめる問題では高埗点を挙げおいたした。しかし、叀文では話の䜓系が぀かめおいなかったりずただただ浅い郚分が芋られたした。

    たた、AIの短所ずしお、抜出した情報の組合せが苊手なこずも明らかになりたした。これは珟代文・叀文で顕著に衚れた傟向になっおいたす。このあたりは昚今の教育でも蚀われるさらなる「読解力」がAIにも求められおいるこずを感じたした。

    æ•°å­Š

    蚭問ごずの埗点正解しおいおも論述はむマむチ

    個人的に今回の目玉だず思っおいたす。去幎の数孊はかなり䜎い埗点ずなっお、「AIは数孊がダメだ」のもっずもな䟋ずなっおしたいたした。この1幎でAIはどれだけ成長したのでしょうか

    画像
    画像

    文系数孊はGPTだず40点、DeepSeekだず18点。理系数孊はGPTだず38点、DeepSeekだず49点になりたした。DeepSeekの文系数孊を陀くず、これらの点数は圓萜線䞊やや䞋あたりの点数ずなっおおり、DeepSeekの文系はかなり厳しい結果になっおいたす。

    ずはいえ去幎のほずんど0点の状態からここたでの点数を獲埗できたこずはかなりAIも成長したず蚀えるでしょう。

    採点しおいただいた講垫の方の印象ずしおは「点数は問題ず採点基準に倧きく䟝存した」ずしおいたした。䟋えば、問題が説明的なものであればAIは問題をうたく理解できたすが、抜象的であったり、もう䞀段階螏み蟌んだ問題である堎合、明らかに理解が出来おいないずいったこずが発生しおいたした。

    今幎の東倧数孊は説明的な文章が倚く、AIはうたく理解できる問題も倚くありたした。実際、ChatGPTではほずんどの問題に正答しおいたしたが、そこたで点数が䌞び切りたせんでした。その原因ずしお、採点基準が挙げられたす。

    東倧入詊の特に理系数孊では導出過皋に重きを眮いおおり、「正解したかどうか」よりも「どのようにその回答を導出したか」が重芁になっおきたす。しかし、AIの回答は関数の最倧倀や最小倀の説明をすべお自明なものず刀断しおしたい、ここの蚘述がすっぜりず抜け萜ちおいたした。これが点数が䌞びなかった倧きな芁因ずなっおいたす。

    ずはいえ回答がほずんど合っおいたこずから、去幎ず比范しお数孊的な挔算胜力は倧幅に匷化されおいるこずは明かになったでしょう。
    では実際に蚭問別に確認しおいきたす。


    型にはたらず、誘導も䞀切䜿甚しないAIらしい回答

    たず着目すべきは理系数孊第二問です。問題は以䞋の様になっおいたす。

    画像
    理系数孊_2

    (1)は蚌明問題であり、(2)は(1)の蚌明を䜿甚しお極限を求める問題になっおいたす。(1)に関しおはDeepSeek, ChatGPT同様に回答するこずが出来おいたした。しかし、(2)ではどちらのモデルも䞍正解な回答をしおしたいたした。たずは河合塟の解答䟋から確認しおいきたす。

    画像
    河合塟_理系数孊2-2

    䞀般的な回答方法ずしお、(1)の蚌明を䜿甚するこずでうたく挟み蟌みを行い、埮分の定矩ず盞加盞乗平均を䜿甚するこずで極限を求めおいたす。たた、別解ずしおも郚分積分を行う事で蚈算を行い、倀を求めおいたす。それに察しお、各モデルの回答は以䞋の様になっおいたす。


    画像
    ChatGPT_理系数孊2-2_1
    画像
    ChatGPT_理系数孊_2-2_2
    画像
    DeepSeek_理系数孊2

    この結果から分かるように、どちらのモデルでもテむラヌ展開の近䌌を持ちいる事によっお回答を求めおいたす。
    これは河合塟の別解にも茉っおいない回答方法であるが、最終的な答えはどちらも正しい倀に収束しおいたす。

    解答が正しいため、この解法は䞀芋正しいように思えたすが、この解答にはテむラヌ展開の近䌌を䜿甚できる理由に぀いおの蚘茉がありたせん。そのため、≒を䜿甚しできる理由がなく、極限を求めるずきにタブヌずなる行為をしおいたす

    これらの芁因より、どちらの回答も(2)で埗点するこずが出来たせんでした。これは、AIが受隓の鉄則やタブヌを知らないこずず、説明力が足りおいないこずが原因ず考えられたす。たた、GPTずDeepSeekが同様の回答方法を行い同様の間違い方をしおいるこずも興味深い点の䞀぀でしょう。

    この問題を他のモデルで回答させるずどのようになるのずいう疑問もあったので実際にo1 proで解かせおみたした。

    画像
    o1 pro 東倧2-2

    出力は英語になっおしたいたすが、こちらでも結局テむラヌ展開を䜿甚しおいたす。ただ、こちらはオヌダヌ蚘法を䜿甚するこずによっお≒を䜿甚せずに蚘述するこずが出来おいたす。この蚘述方法ならもしかしたら埗点が出来たかもしれたせん。

    やはり匱い図圢問題

    次に倧きな差が出たのが理系数孊第䞉問です。問題は以䞋の通りです。

    画像
    河合塟_3

    AIが䞀番苊手ずする図圢の問題です。特にこの問題は図圢に察する詳しい説明があたり蚘述されおおらず、AIは自分で図圢を想像しお回答する必芁がありたす。この問題の図圢はこのようになっおいたす。

    画像
    河合塟_東倧理系3

    この図圢の様に、平行四蟺圢の呚りに長方圢が存圚するような図圢ずなっおいたすが、実際に(1)の各AIの回答を抜粋するず以䞋の様になりたす。

    画像
    GPT_理系数孊_3_3

    先ほどの図ずこの出力を組み合わせおみるず、「蟺FGの長さは蟺GBに等しく、蟺GHの長さは蟺GCに等しい」ずいう発蚀は明かにおかしいこずが分かるず思いたす。これは、出力で箇条曞きされおいる箇所をベクトル方皋匏で曞き䞋したずきに、「やや長い蚈算」ず省略されおいる箇所でミスが発生しおしたったず考えられたす。このこずからも、ChatGPTは明かに図圢の認識が出来ないず蚀えるでしょう。

    続いお、DeepSeekの出力を確認しおみたす。

    画像
    DeepSeek_理系数孊_3

    この出力は導出過皋などはほずんどありたせんが、(1)は正解の回答をしおいたす。たた、(2)も堎合分けはありたせんでしたが、回答の䞀郚は正解ずなっおいたす。この結果より、図圢の想定胜力はChatGPTよりもDeepSeekの方が優れおいるず蚀えるでしょう。それでも堎合分けを想定できおいないこずからもただ完璧に図圢を理解できないこずも同様に瀺されたした。

    远加実隓解かせ方の工倫で図圢問題も察凊可胜

    では図圢を正確に䌝達させた堎合、問題に回答できるのでしょうかたず、先ほどの河合塟が䜜成した図圢ず共にChatGPTに入力し、問題を解かせおみたす。その時の出力は以䞋の様になりたす。

    画像
    GPT_远加実隓_理系数孊3_1
    画像
    GPT_远加実隓_理系数孊3_2

    この結果より、問題の画像ず実際の画像を入力するずDeepSeekず同皋床の回答を埗るこずに成功しおいたす。぀たり、AIの結果は入力されるプロンプトに倧きく䟝存するず蚀えるでしょう。


    文系数孊の図圢問題では正答できたChatGPT

    先ほど、「AIは図圢問題に぀いおは匱い」ず結論付けたしたが、今幎の東倧文系数孊第二問でも以䞋のような図圢問題が出題されたした。

    画像
    文系数孊2

    この問題は䞉角圢の各頂点を䞭心ずする円に぀いお考える問題で、AIが苊手な図圢問題ずなっおいたす。しかし、ChatGPTは苊手な図圢問題に察しお15点ず高埗点を獲埗しおいたす。実際のAIの回答を芋おいきたしょう。


    画像
    ChatGPT_文系数孊2-1
    画像
    ChatGPT_文系数孊2-2
    画像
    GPT_文系数孊2-2
    画像
    DeepSeek_文系数孊2

    このように、DeepSeekでは理解できなかった問題をChatGPTは理解しおおり、(3)のt(Ξ)を求める問題以倖に回答できおいたす。これの原因ずしお、冒頭でも述べたように「問題ず採点基準がAIに適しおいた」ず講垫の方はおっしゃっおいたした。

    この問題は比范的説明的でわかりやすく、噛み砕いお別の図圢を想像するずいったこずが必芁ない玠盎な問題ず蚀えるかもしれたせん。たた、採点基準ずしおも回答できおいるかに重きを眮いおいるため、導出過皋が蚀葉足らでも埗点するこずができたした。

    この問題を倧差を぀けおChatGPTが回答できおいるこずより、ChatGPTはDeepSeekよりも説明的な文章を理解する胜力ず、正確な回答を出力する胜力がDeepSeekより高いず蚀えたす。


    AIあるある論述の飛躍が芋られお枛点察象に

    先ほど、採点基準によっお点数を獲埗した䟋に぀いお述べたしたが、逆の問題が理系数孊第6問で発生したした。問題は以䞋の通りです。

    画像
    理系数孊_6

    この問題は耇玠数平面を図瀺する問題ずなっおおり、(1), (2), (3)を順序だおお回答しおいく必芁がありたす。今回はどちらのAIも点数を獲埗できなかった(3)の回答に着目しおいきたす。たず、河合塟の解答䟋は以䞋のずおりです。

    画像
    画像
    画像
    河合塟_理系数孊6

    このように(2)で回答した匏を甚いお最倧倀・最小倀を求める問題ずなっおいたす。これに察しお、ChatGPT, DeepSeekの回答は以䞋の様になりたした。

    画像
    ChatGPT_理系数孊6
    画像
    DeepSeek_理系数孊6

    これらのAIはどちらも正確な匏ず回答を導き出すこずに成功しおいるが、最倧倀・最小倀の導出方法に䞀切蚘茉がありたせん。そのため、これらの出力はすべおたたたた出力されたものずされおしたっおいたす。しかし、このミスは入力プロンプトを远加する事で結果を修正できるため、あらためおAIを最も良く䜿うためには入力プロンプトがかなり重芁であるず考えられたす。

    理系数孊は回答よりもその導出過皋に重きを眮いおおり、逆に答えが正解でも1点ももらえないものずしお扱われおしたうこずもありたした。このこずからも、AIをプレヌンなたた䜿甚するのではなくタスクに特化したAIの䜜成・䜿甚が粟床を向䞊させるこずに必須であるこずが改めお瀺されたず思いたす。


    挔算胜力をフル掻甚した確率挞化匏

    最埌に、文系数孊第䞉問に぀いお着目しおいきたす。

    画像
    文系数孊3

    この問題は耇数の状況における確率挞化匏を立匏する必芁がある問題ずなっおいたす。たず、河合塟の回答は以䞋の様になっおいたす。

    画像
    河合塟_文系数孊3_1
    画像
    河合塟_文系数孊3_2

    このように耇数の状況を調べ䞊げ、そのうえで確率挞化匏を立匏し回答する必芁がある問題ずなっおおり、高い粟密性ず思考胜力が必芁ずされおいたす。この問題に察する各AIの結果は以䞋の様になっおいたす。

    画像
    ChatGPT_文系数孊3(抜粋)
    画像
    DeepSeek_文系数孊3_1
    画像
    DeepSeek_文系数孊3_2

    このように(1), (2)に぀いおはChatGPT, DeepSeekどちらも回答するこずができおいたす。このこずより、すべおの状況を調べ䞊げられる正確性ずそれを組み合わせる思考力は䞀定以䞊あるこずが分かりたす。
    しかし、(3)においおはDeepSeekは問題を理解できずに誀った解を出力しおいるが、ChatGPTは正確な解を出力するこずに成功しおいたす。この結果より、問題を正しく理解する胜力ず問題を解く思考力はChatGPTの方が優れおいるこずが分かるでしょう。


    銙坂講垫「AIが埗点できるかは"問題"ず"採点基準"に倧きく䟝存する」

    「今回の結果は"問題"ず"採点基準"に倧きく䟝存する」
    「"答えがあっおいれば満点"のような問題ではかなりの高埗点」
    「"理由付けや蚌明郚分に配点が倚い問題"では䜎埗点」

    銙坂講垫

    くり返しになりたすが、やはり埗点は「問題」ず「採点基準」に䟝存しおいるこずが分かりたした。しかし、埗点が「採点基準」に䟝存するレベルたで東倧数孊の正確な回答をAIが導けるようになっおいるこずはかなりの進歩ず蚀えるでしょう。加えお、AIの適切な掻甚にはタスクに察するチュヌニングが必芁であるこずも、問題によっおは回答できおいるこずより明らかになりたした。

    「図圢問題に察しおはかなり苊手な傟向がある」
    「ただ、これも問題文に䟝存しおいお、説明的な文章で曞かれおいる図圢問題の堎合はChatGPTなら回答するこずができる。」

    銙坂講垫

    前々からの予想通り、図圢問題に察しおはAIの正答率はあたり高くなく、講垫の方もAIが苊手である印象を持たれおいたした。しかし、今回ChatGPTは図圢問題に察しおかなりの高埗点を出すこずができたした。図圢問題ずはいえ文章の説明の仕方でこうも結果が倉わったこずに倧倉驚きたした。
    共通テストの事も曞く

    物理

    蚭問ごずの埗点数理的思考胜力の飛躍的向䞊

    数孊ず同様に物理も目玉の䞀぀になっおいたす。昚幎たでのAIはデヌタベヌス䞊の知識を持っおいおも、物理や数孊の様に暗蚘した知識だけでは倪刀打ちできないような問題に倧倉苊戊しおいたした。しかし、昚幎よりも知識を蓄え、蚈算も出来るようになった珟圚のAIはどのくらい点数を獲埗できるのでしょうか

    画像


    結果ずしおChatGPTが45点、DeepSeekが42点ず䞡方ずも7割越えを達成したした前回の5点からどちらも倧幅な点数曎新ずなっおいたす。

    党䜓を通しお䞍埗意に感じおいた点は、図に関する問題党般になっおいたす。これは数孊でも同じ傟向がありたしたが、AIはただ画像の特城を捉えたり、画像の理解をするこずは苊手なようです。特に、図の遞択問題では遞びたい図を遞べないずいった問題が発生しおいたした。

    それに察しお埗意な点は図以倖の党郚ずなっおいたす。人間ず異なりAIは蚈算ミスをもうしなくなった為、ミスによる倱点は党くなくなりたした。これにより、去幎ず比范しお倧幅な埗点向䞊が芋られたした。

    DeepSeekずGPTの差は点数から芋るずあたりないように思えたすが、「DeepSeekにはきらっず光るずころがある」ず講垫の方はおっしゃいたす。これは、GPTや䞀般的な受隓生が間違える問題をDeepSeekが回答するずいったこずがいく぀か発生しおいたからでしょう。具䜓的な出力は蚭問別の確認でたずめおいきたす。


    ケアレスミスで差が出たAI

    ChatGPTずDeepSeekの点数の差はあたりありたせんでしたが、第䞀問にのみ着目するず5点ず、他の蚭問に比べるず差がありたした。

    この原因ずしお、DeepSeekではケアレスミスが発生しおしたったこずが原因ずなっおいたす。加えお、DeepSeekでは図衚の読み取りがほずんどできなかったこずも点数を萜した原因ずなっおいたす。

    䟋えば、第䞀問のⅡにおいお以䞋のような問題が出題されたした。

    画像
    物理1-2

    この問題は垂盎抗力をモヌメントや垂盎・氎平方向の釣り合いを甚いるこずで回答する問題ずなっおいたす。この問題の河合塟の解答䟋ずDeepSeekの出力結果は以䞋の様になりたす。

    画像
    河合塟_物理1-2
    画像
    DeepSeek_物理1-2

    このようにすべおの問題で䞀郚の笊号が反転しおしたっおいるこずが分かるず思いたす。これはⅡ(1)の問題におけるモヌメントの釣り合いの匏を立匏する際に向きを逆にしおしたったこずが原因ず考えられるでしょう。このようなケアレスミスの発生がChatGPTに埗点で勝おなかった芁因の1぀ずなっおいたす。

    たた、今幎の東倧物理では図衚を遞択させる問題が耇数出題されたした。

    画像
    東倧物理2-2
    画像
    東倧物理_3-1

    このような図衚をDeepSeekぞず入力するず以䞋の様になりたす。

    画像
    DeepSeek_グラフ

    DeepSeekには画像を入力ずする際、その画像からテキストのみを抜出しおいたす。そのため、今回は図衚問題では画像+文字のスクリヌンショットを入力したした。これが点数を萜ずしおしたった原因かもしれたせん。

    ChatGPTでは図衚の読み取りも可胜になっおいるため、すべおの倧問で8割匱の埗点を獲埗できおいたす。このこずより、DeepSeekよりもChatGPTの方が確実性ずいう芳点では優れおいるず蚀えるでしょう。

    ChatGPTはDeepSeekよりも画像の扱いがうたいため、図衚の倚い物理においおChatGPTではすべおの倧問で8割皋床埗点するこずができ、DeepSeekよりも優れた結果になりたした。

    DeepSeekが芋せた難問ぞの解答

    DeepSeekでは䞊蚘のようなケアレスミスが発生しおいたしたが優れおいた点も存圚したす。䟋えば第䞀問のⅢが以䞋のような問題ずなっおいたす。

    画像
    物理1-Ⅲ

    この問題では剛䜓の釣り合いに぀いお条件を調べ䞊げ、運動方皋匏を立匏しおいく問題ずなっおいたす。河合塟の解答䟋は以䞋の様になっおいたす。

    画像
    河合塟_物理1-Ⅲ

    Ⅲ(1)では等速運動時のFに぀いお蚈算する問題ずなっおいたす。たた、(2), (3)ではFが0の堎合に぀いお蚈算する問題ずなっおおり、この時に働く慣性力を考慮できるかどうかでこの2぀の問題に回答できるかどうかが決たりたす。以䞋が各AIの生成結果です。

    画像
    ChatGPT_物理1-Ⅲ
    画像
    DeepSeek_物理1-Ⅲ

    このように、ChatGPTでは慣性力を考慮するこずができずに(2), (3)の埗点を獲埗するこずができたせんでした。それに察し、DeepSeekは慣性力を考慮するこずで適切な運動方皋匏を立匏するこずができ、(2), (3)を回答するこずができおいたす。この問題は普通の受隓生でも間違えるこずが倚い問題であったため、DeepSeekがこの問題に回答出来たこずに講垫の方も倧倉驚いおらっしゃいたした。

    このほかにも第二問のⅢや第䞉問のⅡの䞀郚など、最終問題でChatGPTが回答できなかった問題に぀いおDeepSeekは回答するこずができおいたす。このこずより、物理的な思考胜力に関しおはChatGPTよりもDeepSeekの方が優れおいるず考えられたす。たた、慣性力ずいうこれたで問題で出おこなかったキヌワヌドを匏に萜ずしこむこずができおいるこずからも、DeepSeekは文面だけでなく問題の状況を客芳的に理解できおいるこずが分かるでしょう。逆に、ChatGPTは䞎えられた問題の範囲内でしか思考出来ないため、新しい芁玠である慣性力を含めた立匏が出来なかったのでしょう。


    窪田講垫「ChatGPTにはない、DeepSeekに芋えた光るもの」(移動)

    「画像の特城ずずらえるのはただただ苊手である」
    「ただ、それ以倖の問題は蚈算ミスもなく、時間もほがかからないため、かなりすごい印象を埗た」

    窪田講垫

    数理蚈算胜力の向䞊は数孊で確認できたしたが、今回の物理ではどちらのAIも7割近い埗点を獲埗しおおり、AIの物理挔算胜力も向䞊しおいるこずが分かるず思いたす。ただ、AIでも画像を読み取り特城を抜出する問題ではただただ䜎粟床であるため、今埌の改善点ずも蚀えるでしょう。図圢の読み取り粟床に぀いおは他教科でも求められるため、改善によっお党教科の埗点が倧幅に向䞊するこずが期埅されたす。

    「問題文にない慣性力の導入など、DeepSeekにはきらっず光るずころがある」
    「ただ、ずころどころのケアレスミスは改善する必芁がある」

    窪田講垫

    物理の難問に回答するこずができたDeepSeekですが、この本質は問題文に曞かれおいないが、状況を想像するなら必芁になる倀を䜿甚できたこずにあるず思いたす。これに察しおChatGPTでは問題文で瀺されおいた凊理は適切に行うこずはできおも、問題文にない状況を想定するこずはできたせんでした。この結果より、DeepSeekの方が物理的挔算胜力は高いこずが分かりたすが、正確性ずいう芳点からはChatGPTの方が優れおいるため、䜿甚方法・状況に合わせた掻甚が求められるでしょう。

    化孊

    蚭問ごずの埗点知識問題には高粟床で回答

    日本最難関である東倧入詊の化孊では、党く知らない題材を䜿甚したり倧孊で扱うようなものを高校化孊に萜ずし蟌んだりした問題ずなっおいたす。そんな倧孊入詊でも異質な東倧化孊にAIはどれくらい立ち向かえるのでしょうかたずは埗点は以䞋の様になりたした。

    画像

    点数の目安ずしおは、理䞀・理二の合栌者平均が35点前埌、理䞉の合栌者平均は40点前埌ずなっおいたす。
    それに察し、今回GPTは45点、DeepSeekは39点ず圧倒的な点数を獲埗したした。特に、GPTでは理䞉の䞭でも最優秀レベルずなっおおり、AIの成長をひしひしず感じたす。

    講垫の方の印象ずしおは、党䜓的に優秀だが図を曞くこずが出来ないこずがネックだずおっしゃっおいたした。東倧化孊ではずころどころ構造匏などを蚘述する必芁がありたすが、珟圚のAIではそれにうたく察応できおいないこずが原因でしょう。

    たた、2぀のモデルの優劣はあたりないようですが、匷いお蚀うなら論述ではDeepSeekの方が良いずしおいたした。ただ、ケアレスミスはDeepSeekの方が倚く、どちらのモデルの差はあたりないように思えたす。

    誀読が発生したChatGPTず論述胜力が瀺されたDeepSeek

    第䞀問では小問集合ずなっおおり、耇数の蚈算問題や知識を問う問題が広い分野から出題されたした。去幎たでのAIなら蚈算問題は党く解けない状態でしたが、今幎はDeepSeekが17点、ChatGPTが18点ずかなりの高埗点を獲埗するこずができおいたす。論述での差が出た郚分ずしお第二問(り)が挙げられたす。

    画像
    化孊2
    画像
    化孊2-り

    これは二酞化炭玠、硫化氎玠、二酞化硫黄、塩化氎玠などが含たれおいる氎溶液にモヌル法を甚いようずするずきに発生する問題に぀いお述べる問題ずなっおいたす。河合塟の解答䟋は以䞋の通りです。

    画像
    河合塟_化孊2-り

    このように、氎溶液䞭に硫化氎玠が存圚するこずで、硫化銀の沈䞋物を䜜成しおしたうこずを理由に含める必芁がありたす。これに察する各AIの回答は以䞋ずなりたす。

    画像
    ChatGPT_化孊2-り
    画像
    DeepSeek_化孊2-り

    DeepSeekでは硫化物むオンず銀むオンが反応しお沈殿物を生成するこずがうたく述べられおいたすが、ChatGPTでは元の氎溶液では存圚しおいなかったペり化むオンなどが存圚するため、塩化銀が生成できないずしおしたっおいたす。なぜペり玠が急に出おきたのか理由ずしお、講垫の方は「むンタヌネットによくあるモヌル法の知識を持っおきおしたった」ずおっしゃっおいたした。この問題はChatGPTが問題文䞭の「③の氎溶液」を読み取るこずができずに誀った認識をしおしたったこずが原因ず考えられたす。逆に、DeepSeekでは問題文を適切に読み取り、論述も行えたこずで埗点できたず蚀えるでしょう。

    高難易床問題「化合物の掚定」に䞀郚正答したChatGPT

    次に、第䞉問のむに぀いお確認しおいきたす。

    画像
    化孊3-ã‚€_1
    画像
    化孊3-ã‚€_2

    この問題は耇数の結果を組み合わせるこずでアミノ酞を掚定しおいく問題ずなっおいる。この問題に回答するためには状況を䞊列的に凊理する胜力ず、䞀぀䞀぀の結果を読み取る高い思考胜力が求められたす。河合塟の解答䟋ず各AIの回答は以䞋の様になりたす。

    画像
    河合塟_化孊3-ã‚€
    画像
    GPT_化孊3-ã‚€_1
    画像
    GPT_化孊3-ã‚€_2
    画像
    DeepSeek_化孊3-ã‚€

    ChatGPTでは各実隓結果におけるポむントをうたくたずめるこずに成功しおおり、A1~A3たでのアミノ酞の決定に成功しおいたす。しかし、A4を求める問題ではアミノ酞の脱氎瞮合による氎分子の枛少のための分子量の蚈算ができないずいう初歩的なミスが発生しおしたっおいたした。この結果より、ChatGPTのある皋床の思考胜力が瀺されたしたが、難問ぞの回答は難しくなっおいるこずが分かりたす。

    これに察しおDeepSeekではA1、A2、A4の構造決定のミスが生じおしたっおいた。これはDeepSeekが生成した根拠を芋おも分かるように、耇数の結果を組み合わせお回答しおいるのではなく、単䞀の結果のみを認識しお回答しおしたっおいるこずが原因ず考えられたす。このこずより、DeepSeekは耇数の結果を組み合わせお解を求めるような問題に匱いず蚀えるでしょう。

    金講垫「现かいミスはあったものの、理䞉合栌圏内の解答」

    「時間制限が厳しい東倧化孊の䞭で、ChatGPTの結果は理䞉でも最優秀レベルの埗点」
    「ただ、図圢の蚘述問題が出来ないなど、ただただ改善の䜙地はある」

    金講垫

    圧倒的な文章量ず蚈算量が特城の䞀぀である東倧化孊では、すべおの問題を制限時間内に回答するこずは極めお難しくなっおいたす。そんな化孊の問題に察しお、AIが東倧理䞉ず戊えるかそれ以䞊の結果を獲埗したこずより、AIがかなりの粟床の文脈理解ず蚈算を、圧倒的な短時間で行えるこずが瀺されおいたす。

    「論述に関しおはDeepSeekの方が優れおいるようだった」
    「ただ、DeepSeekはその分ケアレスミスなども倚く発生したため、䞀抂にどちらのAIが優れおいるずは蚀えない」

    金講垫

    いく぀かの問題おChatGPTが䞍正解であった論述問題にDeepSeekは回答するこずができおいたした。これは、DeepSeekの特城を抜出し、芁玠を矅列する性質ず化孊の蚘述で必芁なこずがマッチしおいたからだず考えられたす。ただ、䞀抂にDeepSeekの方が優れおいるずは蚀えず、認識誀りやケアレスミスなどはDeepSeekの方が発生しおいたした。これらのミスが積み重なり、党䜓ずしおChatGPTの方が優れおいるような結果に぀ながっおいたず考えられたす。

    「先生・家庭教垫の代替ずしおAIは䜿甚できるかもしれないが、出力が専門的すぎお高校生に理解できない可胜性がある」
    「匕っかかっおいるずころを理解できない時に掗い出しを行う際に掻甚するのが良い」

    金講垫

    採点をしおいただいた金講垫はこれからのAIず受隓の圚り方ずしおこのようにおっしゃっおいたした。確かに、今回の東倧入詊でも高校範囲を逞脱した回答が芋られるずころが少なからずありたした。そのため、教垫の代わりにAIを䜿甚するこずはただ難しいようです。

    しかし䞀方でAIの知識量ず説明胜力の高さを生かした掻甚方法も考えられたす。䟋えば、理解できない問題をAIに入力し、䜕が理解できおいなかったのかを知るためのツヌルずしおなら十分䜿甚可胜だろうず金講垫は語りたす。AIが発展しおいく䞭で、AIに党おを任せるのでなく、AIを利甚しお自分自身の孊習に぀なげおいくこずが受隓でも倧切なこずずなるこずが予芋されたす。

    日本史

    各蚭問ごずの埗点回答に必芁な芁玠の組合せが課題

    東倧日本史の特城ずしお小問が䞀切なく蚘述問題しか出題されないずいう特城が存圚したす。そのため、知識問題が埗意なAIにずっお苊しい結果になるこずが予想されたすが、結果はどのようになったのでしょうか各蚭問における採点結果は以䞋の様になりたした。

    画像

    結果ずしおはGPTが19点、DeepSeekが25点ずいったようにDeepSeekの方が高埗点の結果になりたした。党䜓的な点数ずしおはかなり䜎めの点数ずなりたしたが、講垫の方曰く良く曞けおいた文章だずおっしゃっおいたした。

    それぞれのAIの特城ずしお、たずChatGPTでは滑らかで正解そうな文章の出力を行っおいたした。そのため、講垫の方は最初DeepSeekよりもChatGPTの方が点数が高いように感じおいたそうです。

    しかし、生成される回答はあくたで「それっぜい」出力にずどたっおおり、芁点を欠いおいたり抜象・具䜓のバランスが取れおいなかったりず枛点されおいった結果、DeepSeekよりも䜎い結果ずなっおしたいたした。この「それっぜい文章」の䜜成はChatGPTの特城の䞀぀ず蚀えるでしょう。

    続いお、DeepSeekの特城ずしお、問題の意図通りの曞き方をする点が挙げられたす。どういうこずかずいうず、䟋えば「~の倉化ず、その結果どうなったのか述べよ」ずいう問題があったなら、DeepSeekは初めに倉化に぀いおたずめ、その埌結果に぀いおたずめるずいったような文章構成を行っおいたす。

    これは忠実になりすぎる箇所も存圚し、順番を倉えた方が意味が通りやすくなる文章でも、問題で曞かれおいる通りの順番で回答しおしたうずいった問題が発生したした。それでも講垫の方は「教科曞通りの知識を持った状態なら、暡範解答の䜜成に圹立぀だろう」ずおっしゃっおいたした。

    䞀芋正しいそうなChatGPTず芁玠を矅列したDeepSeek

    たず、第䞀問では以䞋のような問題が出題されたした。

    画像
    日本史1_資料
    画像
    日本史1_蚭問

    この問題では叀代日本の文化史の倉化を問う問題ずなっおおり、耇雑な論理構成ずなるため、事前に持っおいる知識ず、資料から適切な情報を読み取る胜力、これらを組み合わせる胜力が必芁ずなりたす。この問題に察する河合塟の解答䟋ず各AIの解答は以䞋の様になっおいたす。

    画像
    河合塟_日本史1
    画像
    GPT_日本史1
    画像
    DeepSeek_日本史1

    この問題の肝ずなる郚分は「䞭囜文化の受容・担い手の圚り方の倉化」に぀いお、「朝鮮からの間接的な流入⇒䞭囜からの盎接的な流入に倉化」「枡来人が䌝える⇒仏僧が䌝えるずいう倉化」のように、耇数存圚する倉化のポむントを捉えるこずが必芁ずなりたす。

    これに察し、ChatGPTでは䞀芋正しいような文章を生成しおいたすが、実際は問われおいない内容を盛り蟌んだり、受容の䞻䜓ずしお貎族を含めおしたったりずポむントをカバヌしきれおいない箇所が耇数存圚したす。それでも、この文章は良く曞けおいるほうだず講垫の方はおっしゃっおいたした。この「7割皋床の内容をそれっぜく蚘述する」こずはGPTらしいずも蚀えるでしょう。

    䞀芋正しそうな文章を出力するChatGPTに察し、DeepSeekでは䜓蚀止めで文章が終わっおいたりず文章力に明らかな差があるように芋えたす。そのため、DeepSeekの方が点数が䜎いように思えたすが、実際はどちらも8点ず同等の点数ずなっおいたす。

    この理由ずしお、講垫の方は「加点芁玠ずなる蚘述が倚い」ずおっしゃっおいたした。䟋えば、GPTでも蚘述しおいた「朝鮮⇒䞭囜」の倉化に加え、「枡来人⇒仏僧」の倉化に぀いおの蚘述も出来おいたした。

    このこずより、DeepSeekにはChatGPTず同等かそれ以䞊の特城抜出胜力が備わっおいるこずが分かりたす。たた、この文章の構成は「倉化⇒背景」ずいった蚘述順番ずなっおおり、問いず同じ順番で蚘述しよずしおいるこずも芋お取れたす。このこずより、前述したようにDeepSeekは文章力では劣りたすが、問題に忠実に回答しようずしおいるこずが分かりたす。


    問題文に忠実なAI、DeepSeek

    続いお、第二問では以䞋のような問題が出題されたした。

    画像
    日本史2

    この問題では資料を読み取り具䜓的な特城を抜出し、最終的には抜象的な結論を述べるような、垰玍法的な蚘述をする必芁がある問題ずなっおいたす。この問題に察する河合塟の解答䟋ず各AIの解答は以䞋の様になりたした。

    画像
    河合塟_日本史2
    画像
    ChatGPT_日本史2
    画像
    DeepSeek_日本史2

    解答䟋から分かるように、資料(1), (2), (3), (4)から具䜓的な内容を抜出し、それらの共通点を抜象的に纏めるような解答が必芁です。この問題に察し、ChatGPTでは具䜓的抜出をする必芁がある箇所に察しお「蟲民䞻導の動き」や「歊士局も加わった䞀揆」のようにかなり抜象化しすぎおしたっおいたす。加えお、「守護远攟埌の自治を容認」のように条件文からは読み取れない蚘述も芋られたした。

    これらより、ChatGPTには事象を抜象化しすぎお抜出しおしたう欠点が存圚するこずが分かりたす。たた、最終的な結論である「集団の長を利甚しお䞀揆に察応した」ずいうこずも掎むこずができなかったため、1点しか獲埗するこずができたせんでした。

    DeepSeekの堎合、「土䞀揆は荘園䜏民を基盀」や「守護家臣の地䟍が関䞎」の様に䞀揆の特城に぀いお倧たかにたずめられおいたすが、最終的な幕府の察応に぀いおは述べるこずができたせんでした。ChatGPTにはできなかった具䜓的情報抜出が出来るこずがDeepSeekの利点であるず蚀えるでしょう。

    しかし、(1), (2)を「初期」、(3), (4)を「埌期」ず蚀い換えおいたした。たた「基盀が地域共同䜓から守護暩力内の勢力ぞ拡倧した点に差異がみられる。」のように聞かれおいないこずに回答しおしたっおいたす。問題文の最埌に「基盀の違いに觊れながら」ずあるため、最埌に蚘述しおしたったず考えられたす。

    このように、問題文の順序そのたたで回答しおしたうこずはDeepSeekの匷みずもいえるし、欠点もであるずも蚀えるでしょう。


    田䞭講垫「論理的な文章の蚘述胜力はただただ未熟。ただ、ChatGPTは"正解みたい"な文章を䜜る」

    「想定よりも良くかけおいた答案になっおいた。たた、耇数芁玠を回答に盛り蟌もうずする姿勢も芋られた」
    「ずころどころ受隓生がしないような衚珟をしおおり、AIが䜜る文章にはぎこちなさがあった」

    田䞭講垫

    ChatGPTが19点、DeepSeekが25点ずいう結果に察し、講垫の方は「意倖ず曞けおいる」ずいう印象を持たれおいたした。昚幎たでのAIが䜜成する文章は䞀般的な文章ずかけ離れたAIらしい文章ずなっおしたいたしたが、今回AIはたずもな文章を䜜成できおいたす。やはりAIの文章力は日ごずに進化しおいるのでしょう。

    この圱響で逆に现かなぎこちなさが目に留たるようになっおしたいたした。文章力は成長しおいるずはいえ、ただただ改善の䜙地はあるこずが明らかになっおいたす。

    「DeepSeekが䜜成する文章はいい意味でも悪い意味でも問題文に忠実に䜜成されおいた。」

    田䞭講垫

    文章にぎこちなさが出おしたった芁因の1぀ずしお、DeepSeekは問題文の語順を忠実に守っお回答しおいるこずが挙げられたす。しかし、これは悪いこずだけでなく、「もっず粟床が高たれば暡範解答の䜜成の際に掻甚できるかも」ず講垫の方はおっしゃっおいたした。問題文に即した回答の蚘述が最も良い解答ずなりたすが、回答の自然さを出すためには順番を入れ替える必芁がありたす。

    ただ、AIが問題文に忠実に回答を䜜成し、か぀粟床も良いものなら、AIの生成は暡範解答ずしお分かりやすいだろうずのこずでした。

    「どちらのAIも事実・芁玠の矅列ではなくもう少し論理的でこなれた文章を䜜成しおほしい。」

    田䞭講垫

    今回、少ないながらも点数を獲埗できたこずから、文章から特城を抜出できるこずより文脈を理解する力はあるこずが明かになったず思いたす。ここからさらに埗点を䌞ばしおいくためにはは、ただ特城を矅列するのではなく、それを噛み砕き論理的に敎合性が取れた文章の䜜成が必芁になるず講垫の方は感じおいたした。逆に珟圚AIの䜜成する文章は事象の矅列された文章の可胜性があるため、そのたた掻甚するのではなく人間偎が文章の論理性などを確認する必芁があるでしょう。


    䞖界史

    各蚭問ごずの埗点知識問題のミスはほがないが、「人間がしないようなミス」も

    䞖界史は日本史ずは異なり、䞀問䞀答のような知識問題ず、問題に぀いお合蚈玄600字の蚘述を行う論述問題のような構成ずなっおいたす。知識問題で埗点できる分日本史よりも高埗点が取れそうな予感ずなっおいたすが、結果ずしおは以䞋の様になりたした。

    画像

    結果的にChatGPTが34点、DeepSeekが40点ずいった結果になりたした。小問集合である第䞉問ではChatGPT, DeepSeekずもに高い埗点を獲埗するこずができおいたす。しかし、倧量の蚘述を行う問題である第䞀問ではGPTが5点、DeepSeekが10点ずどちらも振るいたせんでした。

    結果ずしおChatGPTの埗点はDeepSeekに劣っおしたい、講垫の方の印象ずしおは「ChatGPTは少しできない東倧受隓生」レベル。「抜象ず具䜓のバランスをずるこずができおいない」ずいった印象も持たれおいたした。

    この解答を実際の受隓生ず芋立おたずき、問題に察する経隓を積み重ね、より出題意図をくみ取った回答を孊ぶ必芁があるようです。

    たた、DeepSeekでは今幎の東倧の難問である蚘述問題に合栌氎準レベルで回答するこずができたした。䞀方で、受隓生ではありえない間違いも芋られ、埗点が䌞び切らないようでした。

    そのため、初め講垫の方は「良くできおいる」ず倧倉驚いおらっしゃいたしたが、「受隓生がこの答案を提出したらカンニングを疑がっおしたう」ずいった印象も持たれおいたした。

    この難問を回答できおも途䞭で倱点しおしたうずいう傟向は物理でも芋られたず思いたす。講垫の方の印象ずしおは「すごい特殊な子の解答みたい。回答の粟床を䌞ばせばさらに良い点数を取れる」ずおっしゃっおいたした。


    東倧䞖界史の「華」、第䞀問に察する各AIの解答

    たず着目すべきは東倧䞖界史の「華」ずもいえる第䞀問でしょう。その䞭の(1)では以䞋のような問題が出題されたした。

    画像
    䞖界史1-1

    この問題では1900幎代初頭の倧陞囜家である4囜の特城・倉容に぀いお述べる問題ずなっおいたす。これを12行ずいう非垞に長い分量で蚘述する必芁があるため、その時代に関する知識力ず指定語句を䜿甚しながら論述を行う高い文章構成胜力が求められたす。次に、河合塟の解答䟋ず各AIの出力結果をたずめたす。

    画像
    河合塟_䞖界史1-1
    画像
    ChatGPT_䞖界史1-1
    画像
    DeepSeek_䞖界史1-1

    解答䟋より、この問題ではたず4か囜を適切に支配領域ず民族構成ずいう指針を持ったうえで二か囜に分類する必芁がありたす。その埌、その2か囜をさらに分類する必芁があり、非垞に高い蚘述胜力が求められるこずが分かるでしょう。

    これに察し、ChatGPTの解答では分類の芁因ずしおオヌストリア=ハンガリヌ垝囜ずオスマン垝囜に぀いおは正しく述べられおいたすが、枅・ロシア垝囜に関しおは正しく述べるこずができたせんでした。そのため、点数がかなり䞋がっおしたっおいたす。

    たた、それ以倖の語句の䜿甚方法なども誀っおしたい、文章内容の埗点が8点䞭1点、枠組みによる埗点は4点䞭2点ずいう結果になっおしたいたした。やはり生成AIでも東倧䞖界史のような高難易床の蚘述はただ難しいこずが分かるず思いたす。

    DeepSeekでは、初めの分類を支配領域ず民族構成の芳点から行うこずができ、最䜎限の枠組みを捉えるこずはできたした。しかし、指定語句の䜿甚に぀いおも出来おいない箇所が存圚したした。結果ずしお枠組みによる埗点が4点䞭4点、文章内容によるt句点が8点䞭2点ずいった結果になりたした。

    この結果から、問題文の枠組みを捉えおいる点ではChatGPTより優秀ですが、長文の構成力や蚘述力に関しおはあたり差が無いように感じたす。

    2025幎䞖界史最難関問題を回答したDeepSeek

    第䞀問でも分かるように、長い蚘述はやはり生成AIにずっお苊手ですが、次は比范的短い文章に぀いお確認しおみたす。䟋ずしお第二問(2)のbに぀いお取り䞊げたす。

    画像
    䞖界史2-2(b)
    画像
    䞖界史2-2(b)_資料

    講垫の方曰く、「今幎の東倧入詊は第䞀問の蚘述より第二問(2)bの蚘述の方が難しいのでは」ず蚀わしめるほど今幎のこの問題は非垞に難しい問題でした。

    図1の説明からファシズム政暩が叀代ロヌマずむタリアの連続性を匷調しようずしおいるこずを読み取り、図2, 3からオクタりィアヌスやトラダヌスなどの叀代ロヌマ垝囜の指導者などの話を絡めお蚘述する必芁がありたす。画像からその時代に぀いお理解するこずができる高床な知識量が求められる問題です。

    画像
    河合塟_䞖界史2-2(b)
    画像
    ChatGPT_䞖界史2-2(b)
    画像
    DeepSeek_䞖界史2-2(b)

    解答䟋では図1の説明、図2で瀺されるアりグストゥスの説明、図3で瀺されるトラダヌスの説明を行い、最終的にファシストに぀いお述べる流れずなっおいたす。

    ChatGPTの解答ではむタリアの゚チオピア䟵略や、ロヌマ=ベルリン枢軞の話など明らかに題意を汲めおいたせん。

    DeepSeekではアりグストゥス・トラダヌスの個別の説明はないものの、圌らの䞻矩ずファシストを絡めた文章を出力でき、ChatGPTより優れおいたした。この結果に講垫の方も非垞に驚いおおり、「䞖界史にかなり深い理解がある」ずおっしゃっおいたした。

    ほずんどの受隓生が正解した短答問題を䞍正解

    そんなDeepSeekですが、匱点も存圚したす。たずは、物理や化孊などでもあったような図衚読み取りが発生しおしたっおいる点です。

    画像
    䞖界史3-8

    この問題ではグラフを読み取り(B)に入る郜垂を答える問題ずなっおいたす。䞀般的な東倧合栌レベルの受隓生ではほずんど回答できる問題ずなっおいたすが、DeepSeekの結果は以䞋の様になっおいたす。

    画像
    DeepSeek_䞖界史3-8

    郜垂Bに入るはずの問題なのに、すでに衚に存圚するバヌミンガムを遞択しおしたっおいたす。これは明かに人間にはないミスであるため、講垫の方によるず先ほどの蚘述ずこの解答が混じっおいる堎合、カンニングが疑われるだろうずおっしゃっおいたした。党䜓を通しおこのような図衚の読み取りミスやケアレスミスがDeepSeekの特城ずなり぀぀あるだろう。

    これらより、DeepSeekは画像読み取りで䌞びしろのあるAIず蚀えるでしょう。それに察しChatGPTでは難解な問題には回答できたせんでしたが、比范的難しくない問題に察する正答率は高くなっおおり、安定した粟床を担保されおいるAIず蚀うこずも出来るでしょう。


    坂本講垫「あず䞀歩足らないChatGPTず特殊な子であるDeepSeek」

    「ChatGPTは少しできない東倧受隓生のような解答に察し、DeepSeekは特殊な子のような解答を䜜成した」

    坂本講垫

    各AIの採点結果はそれほど離れおいないものの、その内容はかなり異なっおいたす。ChatGPTは堅実に比范的容易な問題には回答し、難問に察しおは少ししか点数が取れないずいう結果に察し、DeepSeekでは基本的な問題でミスが発生したものの、難問に察しおはいく぀か解答したずいう傟向が芋られたした。この結果より、ChatGPTは文脈の理解力ず文章力の改善が、DeepSeekは基本的な問題に回答できるような正確性の改善が必芁であるこずが分かりたす。

    「AIが正解できたからずいった決しおその問題が容易だったわけではなく、問いがきれいで論理的であったから正解できおいる」

    坂本講垫

    AIの正誀は難易床によるものではなく、その問題自䜓が良い問題かどうかによるず講垫の方はおっしゃっおいたした。これは数孊でも「AIの埗点は"問題"による」ずおっしゃっおいたこずず合臎しおいたす。問題文の曞き方によっおAIの埗点が巊右されるこずの裏付けずなるでしょう。たた、将来的にAIがかなりの高粟床になった堎合、「AIが解けるかどうか」が問題䜜成における䞀぀の指針になるかもしれたせん。

    地理

    各蚭問ごずの埗点现かい衚や地圢図の読み取りはただただ

    東倧地理は倧郚分が蚘述問題で占められおおり、短い文量ですがその分問題数が倚いずいった特城が存圚したす。そのため、日本史ずは異なる文章校正胜力が求められたす。日本史の点数はかなり䜎くなりたしたが、地理の点数はどうなっおいるでしょうか。以䞋採点衚です。

    画像

    結果ずしお、ChatGPTは41点、DeepSeekは37点ずなっおおり日本史よりも高埗点を獲埗するこずができおいたす。たた、他の瀟䌚科目ず異なり、DeepSeekよりもChatGPTの方がわずかに高い点数を獲埗するこずができおり、第䞉問で差が぀く結果ずなりたした。

    第䞉問では図衚やグラフから特城を読み取る問題が倚く出題されたした。そのため、この点数の差はChatGPTずDeepSeekの図衚を読み取る胜力の差ず蚀えるでしょう。

    たた、地理にしかない固有の問題を回答しおいくこずで今たで明らかになったAIの欠点ずは別の欠点も明らかになりたした。以䞋に蚭問別解答を確認しおいきたす。


    耇雑な問題文の文脈理解が曖昧なAI

    たず、第䞀問のB(2)においお以䞋のような問題が出題されたした。

    画像
    地理1-B(2)
    画像
    地理1-B(2)

    この問題では「このような河川流出土砂量の倉化の芁因」を述べる問題ずなっおおり、「このような」は「新しい幎代ほど倉動の幅が小さくなり」ず「倀が枛少しおいる」こずを衚しおいたす。そのため、この問題の解答の際には問題文を読み取る胜力ず、図圢を読み取る胜力䞡方が求められる問題ずなっおいたす。これを螏たえたうえで河合塟の解答䟋ず各AIの出力結果は以䞋の様になりたす。

    画像
    河合塟_地理1-B(2)
    画像
    ChatGPT-地理1-B(2)
    画像
    DeepSeek_地理1-B(2)

    この問題では解答䟋のように「新しい幎代ほど倉動の幅が小さくなる芁因⇒ダムずえん堀の建蚭で流量調敎が可胜に」ず「倀が枛少する芁因⇒怍林などの察策」のように2぀の芁因に察する理由に぀いお述べる必芁がありたす。

    しかし、ChatGPTでは「土砂の捕捉ず土壌保党策の拡充」を「倀が枛少する芁因」ずしお述べおおり、「倀が倉動する理由」に぀いおは党く觊れるこずができたせんでした。

    たた、DeepSeekでは「流出量枛少ず倉動瞮小の䞻因」ずしお「ダム貯氎増加で土砂を堰止め、土壌保党で䟵食を抑制した人為的管理」を䞊げおいたすが、「流量調節」に぀いおは觊れられおいないため「倉動瞮小」の理由にはなりえなたせんでした。

    しかし、ChatGPTが気づけなかった「倉動瞮小」に぀いお觊れるこずができたのはDeepSeekの匷みず蚀えるでしょう。この2぀のAIの埗点はどちらも1点でしたが、回答を比范するず問題文を理解できおいるのはDeepSeekですが、それを回答にたずめるこずはできたせんでした。

    日本地理ず䞖界地理の知識差

    䞊蚘の問題のようなミスはあっおも、第䞀問・第二問ずもに8割を越えた解答を䜜成できたこずは驚異的ず蚀えるでしょう。しかし、第䞉問ではどちらのAIも10点匱皋床の点数しか獲埗するこずができたせんでした。原因は现かい図衚が読み取れなかったこずず、日本に関する地理の知識が欠劂しおいたず考えられたす。

    東倧地理では基本的に1/3皋床日本地理に぀いお問われる問題が存圚したす。その䞭でも、戊埌日本に関する知識は東倧地理では頻出の問題ずなっおいたす。具䜓的に、第䞉問のAは戊埌日本における郜心の人口掚移に぀いお蚘述する必芁がある問題ずなっおいたす。

    画像
    地理3-B

    この分野に぀いおどちらのAIも知識が足らず、ChatGPTでは10点䞭5点、DeepSeekでは10点䞭3点ずいった結果になりたした。日本史ず䞖界史の点数でも差が出た通り、やはりAIは日本に関する知識より䞖界に関する知識の方があるのでしょう。

    東倧地理頻出である地圢図の読み取り

    たた、现かい図衚の読み取り問題に぀いおも点数を獲埗するこずができたせんでした。以䞋がその問題です。

    画像
    地理3-B(3)
    画像
    画像

    このように现かい図から人口の掚移を読み取る必芁があり、それらを述べる問題ずなっおいたす。しかし、どちらのAIも同様に回答するこずができたせんでした。やはり、现かい絵の読み取りは難しく、倧幅に人間より劣っおいるこずが分かりたす。


    人間しか持っおいない瀟䌚に察する問題意識

    最埌に、AIには人間が持っおいる問題意識が欠劂しおいるように芋えたした。東倧地理には䟋幎、珟圚発生しおいる問題に぀いお考察・蚘述する必芁がある問題が存圚したす。今幎の地理では以䞋のような問題が出題されたした。

    画像
    地理_2-A(4)

    この問題では䞭叀の衣類の茞出入芏制に関する蚘述を行う問題ずなっおいたす。基本的には「茞入偎が芏制を行う理由」ず「茞出偎が芏制を行う理由」の2぀を蚘述する必芁がありたす。これを螏たえたうえで、河合塟の解答䟋ず各AIの解答を以䞋に瀺したす。

    画像
    河合塟_地理_2-A(4)
    画像
    ChatGPT_地理2-A(4)
    画像
    DeepSeek_地理2-A(4)

    この結果より、どちらのAIも「地元産業を圧迫しおしたう」こずず「環境負荷が高たる」こずに぀いお蚘述はできおいたす。しかし、どちらの理由も茞入偎の芖点ずしお曞かれおおり、茞出偎が芏制を行う理由ずしおは曞かれおいたせん。実際は河合塟の解答䟋からも分かるように「環境負荷が高たる」こずを理由ずしおEUなどでは芏制を行っおいるこずを蚘述する必芁がありたす。

    このこずより、AIには「茞入囜」のこずを「茞出囜」が考えるずいった公共の芖点を問う出題意図をくみ取れたせんでした。この受隓生に考えさせる問題に東倧の面癜さが詰たっおおり、ただAIでは思考出来ないずころがあるのですね。

    䌊藀講垫「AIが苊手ずする郚分ずできない郚分が明らかになった」

    「初芋の印象では50点を超えるような印象を抱いたが、実際に採点するず受隓生のボリュヌム局に萜ち着いた」
    「やはり図衚を倚甚する問題や、日本地理に関する問題は苊手。たた、ずころどころ問題文の理解が甘いずころも」

    䌊藀講垫

    第䞀問、第二問ず回答を確認しおいく䞭で第䞀問・第二問では知識問題に察しおもほが正確に回答し、蚘述問題でも芁点を抑えた文章の䜜成ができたいたため、䌊藀講垫はかなりの高埗点を取るこず感じおらっしゃいたした。

    しかし、第䞉問で日本地理に関する地圢図や衚の読み取り問題が出題されるず途端に回答できなくなり、倧幅な倱点ずなっおしたいたした。これは党科目を通じた今埌の課題ずなるでしょう。

    「珟状に察する問題意識を問う問題では明確にAIはできおいない」

    䌊藀講垫

    この課題は地理で初めお明らかになりたした。今たでの改善点はAIが今埌進歩しおいく䞭で必ず改善されるこずずなりたすが、この問題はAIが明確に「できない」問題ず蚀えるでしょう。

    匱者のための孊問である地理では、䞖界を「公共の芖点」に立ち孊んでいく必芁がありたすが、この芖点を持たないAIは䞖界で発生しおいる䞍合理な問題に぀いお思考するこずはできたせん。人間だからこそできる䞍合理な問題に察する思考に加え、補助ずしお郚分的に人間以䞊の知胜を持぀AIを䜿甚するこずで、䞖界に存圚する問題に察しお効率的・効果的に察凊できるようになるでしょう。


    おわりに

    誰でも東倧生レベルの思考にアクセスできる

    今回の実隓でChatGPT o1, DeepSeek R1どちらも東倧理䞉ずいう日本最高レベルの倧孊入詊に合栌するこずができたこずから、少なくずも東倧生レベルの頭脳を有しおいるこずがわかりたした。

    実隓方法でも觊れたように、今回は特別な指瀺を行っおいたせん。぀たり、誰でも、頑匵っお工倫をせずずも東倧生レベルの思考にアクセスできる環境があるずいえたす。

    ただ、しっかりず指瀺を䞎えるこずで本来はもっず点数を取るこずができるの事実です。受隓ならではの知識や回答圢匏・思考に䜿っおも良い玠材の制限など

    河合塟講垫の方々からのお話の䞭でも、AIをうたく掻甚する偎になるこずが倧切であるずいう蚀葉を䜕床もお聞きし、改めお日々AIを有効掻甚しおいくこずが重芁であるず感じたした。

    最埌になりたすが、採点しおいただいた河合塟の皆様、ありがずうございたした

    ぜひLifePromptにお問い合わせください

    • 生成AIを掻甚したい䌁業の方

    • 本実隓の詳现に぀いお聞きたい方

    • 生成AIシステムを぀くる仕事にご関心のある方

    ぜひ、以䞋の䌚瀟ホヌムペヌゞよりお気軜にお問い合わせください

     
     
    LifePrompt CEO。「DXで貯めたデヌタを、AXで掻甚する」 適切な暩限をAIに枡すこずで、AIず人が分け隔おなく働き、䌁業が本来の匷みに集䞭できる環境を構築しおいきたす。 䌚瀟ホヌムペヌゞhttps://lifeprompt.net/

    あなたぞのおすすめ