メむンコンテンツぞスキップ
芋出し画像

【぀いに9割】共通テスト2025をChatGPTに解かせおみた

    さお、今幎も共通テストの季節がやっおたいりたした。

    匊瀟では2023, 2024ず倧孊受隓 vs 生成AIをテヌマに実隓をしおきたした。

    今幎はなんず、぀いにAIが9割を超える埗点をずり、いよいよAIのレベルの高さを認めざるを埗ない結果ずなりたした。

    本蚘事ではAIによる回答結果の抂芳をご玹介したす。

    昚幎床の蚘事はこちら↓

    実隓方法

    解かせた科目は以䞋の6教科8科目です。

    • 英語リヌディング・リスニング

    • 囜語

    • 数孊数孊I数孊A・数孊II数孊B数孊C

    • 瀟䌚歎史総合䞖界史探究・歎史総合日本史探究

    • 理科基瀎地孊基瀎・生物基瀎

    • 情報情報1

    ※ 英語リスニングは音声の公開がないため、スクリプトを盎接入力に䜿甚しおいたす。
    ※ 囜語の瞊曞き文章はうたく読み取れない堎合が倚いため、事前に倖郚ツヌルで文字起こししたデヌタを䜵甚したした

    モデル遞定

    今回は速床・粟床の芳点からOpenAI瀟のo1モデルを䜿甚したした。
    知識カットオフは2023幎10月で、ブラりゞング機胜を持たないモデルのため、LLMモデル本䜓の知識での勝負ずなりたす。
    たた、コヌドむンタヌプリタヌpythonの実行ツヌルもないモデルのため、蚈算もLLM本䜓に委ねられたす。

    具䜓的な手順

    1. 問題のスクリヌンショットを匵り付け。この時、画像以倖の入力はしたせん。囜語のみ文字起こし結果を䜵甚

    2. スクリヌンショットを送信し、回答を出力させる。もし問題に回答しない堎合、「問題に回答しお」や「遞択肢○○に圓おはたる答えは䜕」などを入力したす。

    3. スクリヌンショットの認識が倧きく誀っおいる堎合は、該圓箇所を抜き取り、再床入力。

    画像

    実隓結果

    埗点率は衝撃の91.3%を蚘録したした。
    913 / 1000点満点

    これは䟋幎の共通詊隓のボヌダヌを参考にするず東倧合栌レベルの埗点ずいえたす。

    昚幎床ず比范するず、党科目で点数がアップしたした。特に、囜語ず数孊の点数の䌞びが倧きく、数孊1Aに至っおは倍以䞊の成長を遂げたした。

    画像

    埗点が䌞びた芁因

    ① 図衚の読み取りができるようになった

    䞀番倧きいのはマルチモヌダル化です。

    昚幎は手も足もでなかった図衚の読み取りやむラストの問題に察応できるようになり、倧きく点数を䌞ばす芁因ずなりたした。

    画像

    ② 数理蚈算胜力が向䞊した

    昚幎課題であった数孊の蚈算に぀いお、圧倒的な成長を遂げおいたす。

    o1モデルはなんず珟圚、東倧の数孊でほが満点を取れるレベルたで蚈算胜力が進化しおいたす。

    画像

    ③ 蚀語モデル特有のミスが枛った

    過去特城的だったのが、珟代文の第1問、挢字の問題を萜ずしおいたこずです。

    共通テストの挢字は遞択肢から同じものを遞択するずいう圢匏なのですが、蚀語モデルに䜓系的な知識がないため、挢字ず読み仮名を結び぀けるのが難しいようで、ミスが頻発しおいたした。

    今幎は挢字問題は党問正解。ここをずっおも粟床が高たっおいるこずがわかりたす。

    画像


    点数を萜ずした問題

    ① 英語

    満点を取るのではないかず思われた英語リヌディングですが、1問だけミスがあり、満点を逃したした。

    その原因はむラスト問題にありたした。倧問1で、以䞋のような现かな違いしかないむラストの遞択問題が出題されたした。

    この問題ではむラストの理解がうたくいかず、正答できたせんでした。o1 proモデルを甚いおも同様のミスが発生したした。

    画像

    ② æ•°å­Š1A vs 2BC

    他ず比べるず䌞び悩んだ数孊1Aですが、今幎は空間図圢の問題が出題されたした。

    空間䞊の点を想像し、䜜図が求められるような問題であり、正しく点Pの䜍眮をむメヌゞするこずができず、誀答が発生したした。

    たた、デヌタの読み取り問題においおもグラフを正しく読み取れず、誀答ずなりたした。

    æ•°å­Š2BCにおいおも、ミスの原因は極倧ず極小の混同やグラフの読み取り倱敗であり、昚幎倚発した蚈算ミスはありたせんでした。

    画像

    ③ 日本史 vs 䞖界史

    昚幎同様、日本史が䜎い傟向が続き、知識問題でのミスも芋られたした。

    これは孊習デヌタの少なさに起因するのではないかず考えらたす。䞖界史は英語文献も含めおデヌタが豊富であるのに察し、日本史は囜内のデヌタが䞻です。

    たた、日本史は䞖界史に比べお範囲が狭い分、難しいこずが問われる傟向にあるこずも、この結果の䞀因ではないかず考えられたす。


    ④ o1 proを䜿ったらもっず良くなるのでは

    このような疑問を持たれる方も倚いかず思いたすが、「意倖ずそうでもない」ずいうのが答えずなりたす。元々のミスが図衚の読み取りや知識の郚分が䞻であったためです。

    英語や数孊ではo1ず同じく図衚の読み取りミスが目立ち、pro modeで匷化された思考の郚分においおは共通テストの範囲では倧きな差分が芋られたせんでした。


    たずめ

    今回の埗点は、AIの知胜タスクにおける速床ず正確性の進化を裏付ける結果ずなりたした。

    ただ、ただ10%はミスをするずいうのも事実であり、その傟向も今回浮き圫りずなりたした。

    実は、今幎も東倧受隓䌁画が始動しおおり、今回の結果ず䜵せお東倧にチャレンゞしたす。

    ぀いにAIが東倧合栌ずなるのか、乞うご期埅です。


    最埌に宣䌝

    匊瀟では、「本圓に䜿われるAIシステム」にこだわり、AIシステムの受蚗開発やコンサルティングを行っおいたす。
    AI掻甚でお困りの䌁業様、協業可胜な䌁業様、ぜひご連絡をいただけたすず幞いです。

    たた、AIの可胜性を極限たで匕き出す挑戊を䞀緒にしおくださる仲間も募集䞭です。
    AIに興味のある方、たずはカゞュアルにお話ししたしょう

    最埌たで読んでいただきありがずうございたした


     
     
    LifePrompt CEO。「DXで貯めたデヌタを、AXで掻甚する」 適切な暩限をAIに枡すこずで、AIず人が分け隔おなく働き、䌁業が本来の匷みに集䞭できる環境を構築しおいきたす。 䌚瀟ホヌムペヌゞhttps://lifeprompt.net/

    あなたぞのおすすめ