メインコンテンツへスキップ
見出し画像

【検証】生成AIにガジェットレビュー手伝わせると死ぬ|「Claude・ChatGPT・Gemini」3モデルのハルシネーション体験談

    [本記事は広告を含みます]



    検証結果サマリ


    この記事の目的

    ・生成 AI を使ったウェブ調査のコツのご紹介
    ・ハルシネーション(生成 AI の出力誤り)を体感していただくこと
    ・生成 AI が出力した成果物の過信は禁物であることの注意喚起


    検証に使用したモデル

    ・Claude Sonnet 4.6
    ・Claude Sonnet 5
    ・Claude Opus 4.8
    ・Claude Opus 5
    ・Claude Fable 5.1
    ===
    ・ChatGPT 5.4
    ===
    ・Gemini 3.1 Pro

    各モデルの推論の深さはデフォルトを使用。

    検証方法

    各モデルのチャット機能に以下 4 パターンで情報を与えて結果を検証。
    ①「製品URL」のみを渡す
    ②「製品URL + 仕様ページURL」を渡す
    ③「製品URL + 仕様ページ全文テキスト」を渡す
    ④「製品URL + 仕様ページHTMLファイル」を渡す


    検証結果

    画像

    ・Claude Opus 5 のインプットに『④製品URL + 仕様ページHTMLファイル』を渡すと最高精度。ほぼ 100% 正解。

    ・Opus 5 の正答率 99.1% で、誤りは 1 件だけ。しかし、誤った 1 件は公式ページにも記載のない仕様だったので、"インプットに対しては" 実質 100% 正解。
    ※ただし「正しい仕様を提示する」という最終目的は達成できていない。

    ・製品仕様調査のような正確性が求められる内容は、人手で目視検証しないとだいぶ危険。「生成 AI × 人」のクロスチェックが重要。

    ・AI エージェント使用等でさらに精度が上がるかも。ただしコスパは悪いと思う。



    (ご参考)検証データ全体感

    ※詳細は後述するので「なんか色々やったんだね」っていう雰囲気だけ察してください。拡大して見ないでいいです。エラーになってる赤ピンク色感だけ感じていただければ。

    画像
    おっきい。

    ※ピンク色セル:欲しい情報が取得できていない(出力なし)箇所。
    ※赤色セル:ハルシネーションが起きている箇所。



    はじめに


    画像

    こんにちは、かぬです。


    ちょっと前ですが、「そうだ、ガジェットレビューしよう」と思ってミドルレンジスマホ以下 3 機種のレビュー記事を投稿しました。

    • Google Pixel 10a

    • Apple iPhone 17e

    • Samsung Galaxy A57

    んでレビュー記事として人様にお出しするからには、ちゃんと仕様比較せんといかん、と。


    それぞれのスマホの仕様を比較して、そのスマホが競合と比べてどこが強い・弱いを把握した上でご紹介したかったからです。あと生成 AI で量産されたゴミみたいなレビュー記事には埋もれてほしくねぇぞ、と。


    まぁやってみたら・・・この作業、地味にめっちゃ手間かかったんですけど。でもそうじゃないと、レビュー記事出す意味が薄いかなと思って。


    ちなみに頑張った甲斐あって、Pixel 10a と Galaxy A57 は Google 検索でかなり上位に食い込めています。

    自分の環境では「製品名 レビュー」検索でトップ 3 くらい。「製品名」のみ検索でもトップ10くらい。嬉しい。皆様ありがとうございます🙇。

    とりあえずnote.com のドメイン強すぎ。


    そして iPhone 17e は・・・死んでる。3ページ目くらい(笑)。



    (お嬢様レビューシリーズ)





    画像

    そんでもって、皆様ご存知の通り昨今は生成 AI 全盛期。


    私も普段の業務では生成 AI を使ってますが、「生成 AI でスマホの仕様情報を整理したら・・・楽できるんじゃね?」っていうことでやってみた検証記録です。



    (念のためアピール)
    私の記事は人力で書いてます。


    画像

    こういう記事を書くと疑われそうなのでいつもの通り書いておきますが、私の記事の本文は生成 AI ほぼ使用していません。


    "ほぼ"っていう理由は、今回検証したような何らかの情報を一覧で整理して掲載する部分とか、イラスト作成でたま~に使ってるからですね。お嬢様のイラストは生成 AI 産です。

    去年初めてお嬢様レビュー書いた時、「ヴェルサイユ宮殿に住んでそうなアニメ調のお嬢様書いて」って指定したら出てきた。お嬢様爆誕。


    そういった部分以外では全て人力で記事を書いてますので、積極的にアピールしておきます。疑われると悲しいので。



    画像

    個人的願望ですが、私の投稿の崩し気味の口語の文章(助詞抜き、テンションの緩急、ちょっと汚いお上品な言葉遣い)とか、ルビ振ったり、画像多用したり、キャプション付けたり、引用書いたり、リンク貼ったり・・・で人間が頑張っているのを感じ取っていただければ嬉しいです。



    でも今度ネタとして「AI俺」を作って記事を書かせるのは試してみたい。

    かなり前に 1 回遊びでやったことあるんですが、口語の変な癖を学習したのかテンションおかしい化け物が出来てヤバかったwwwwwwwwww

    意味不明な場所でいきなり「ウワァァァァ!」とか叫び出しててさすがに大草原不可避だった。



    では本題に参ります。


    ⬇️ ⬇️ ⬇️ ⬇️ ⬇️ ⬇️ ⬇️ ⬇️ ⬇️


    生成 AI でスマホの製品仕様を
    ウェブから収集・整理させてみた


    検証サマリとして冒頭に全部書いちゃってますが、改めて整理していきます。


    今回の作業のゴールは、ミドルレンジスマホの「Google Pixel 10a」「Apple iPhone 17e」「Samsung Galaxy A57」の3機種の製品仕様をウェブから抽出・整理し一覧表に整理することです。


    最終的なアウトプットの理想形は以下。こういうのを生成 AI でしゃんしゃん作ってくれると嬉しい。(一覧表デカくてすいません)

    画像
    iPhone 値上がりしすぎで最新情報と乖離してるのは一旦無視。


    ちなみにレビュー記事を書く際、この表👆を作った時は全部目視で公式ホームページの仕様表をチェックしました。


    だから多分、全部あってるはず。
    最初は生成 AI で雑に一覧作ってみたんですが・・・今回検証した結果みたいに間違いだらけでとても信じられない、人様にお出しできなかったからです。


    「こんな個人のブログなんやからさ・・・ちょっとくらい間違ってたって・・・誰も気にせんやん?楽しようや。そういうの・・・素敵やん?」っていう感情と自分の細かい性格との激しい闘いだった。


    ギリ性格が勝った。っていうと聖人みたいだけど、実際は IT エンジニアとして過去に『仕様説明』棒でシバかれ続けてきたトラウマを克服できなかっただけ。


    どうでもいいけど、こういうデータの整合性をチェックする作業って私のいた界隈では「突合とつごう」って呼んでるんですけど、皆さんの業界とか周囲ではなんて呼んでるんでしょうか?

    「突合」って変換できないことあるので、「もしかしてマイナー?」って思ったり。



    検証に使用したモデル


    画像

    検証にあたって、以下の生成 AI モデルを使用しています。

    ・Claude Sonnet 4.6
    ・Claude Sonnet 5
    ・Claude Opus 4.8
    ・Claude Opus 5
    ・Claude Fable 5.1
    ===
    ・ChatGPT 5.4
    ===
    ・Gemini 3.1 Pro

    スマホレビュー記事を書いたのが 2026 年 5 月頃なので・・・ちょっとモデルが古いのはご愛嬌。

    私は現在 Claudeクロード をメインに使用しているので、Claude のモデルを中心に、最新のモデルも含めて検証しています。


    Claude のモデルがいくつか並んでて馴染みのない方には分かりにくいと思いますが、なんとなく👆は頭のいい順(昇順)に並んでいると思ってください。

    「Sonnetソネット」はまぁそこそこ賢い。
     ⬇️
    「Opusオーパス」は専門家くらいめっちゃ賢い。
     ⬇️
    「Fableフェイブル」は現行最強。一時的に米政府からストップかかって一般利用禁止にされたレベル。

    くらいでザックリ捉えてください。


    そしてモデルの後ろについてる数字はバージョン番号なので、「数字が大きいほど賢い」です。

    「Sonnet 4.6」と「Sonnet 5」があったら、「Sonnet 5」の方が賢いです。


    Claude モデルの現行最新バージョンは「Sonnet 5」、「Opus 5」、「Fable 5.1」です。他に下位モデルで「Haikuハイク」とかありますが、ここでは省略します。



    画像

    ChatGPT と Gemini は 1 個だけモデルを使ってます。が、ちょっと古いモデルなので、今はもうちょっと賢い最新版がリリースされてます。


    今回の検証だと Claude だけ最新版を使ってるので、ChatGPT 、 Gemini とフェアな検証になってない点はご容赦ください。


    もうね、生成 AI 界隈の発展速度が尋常じゃないので完全フェアな検証は厳しいし意味ないかも。すぐ変わるから。


    とりあえず生成 AI の賢さについて、個人的感覚として思ってるのは現状 Gemini と Grok は厳しい。最新の生成 AI バトルは ChatGPT と Claude の 2 強の世界だと思います。すぐ変わるかもだけど。


    でもモデル多すぎ、リリース早すぎでリサーチ会社とかでない限り全検証できてる人いないと思う。この投稿だって、一時点の、限られた方法での検証結果を切り出しているだけですのでその点はご留意ください。


    っていうか・・・こんなしょうもない作業に Opus とか Fable 使ってんじゃねーよっていうツッコミは無しでお願いします。



    モデルの検証方法


    画像

    今回のゴールは「スマホ 3 機種の仕様一覧表を作る」ことです。


    各モデルのチャット機能に以下 4 パターンで情報を与えて「正確な製品仕様を一覧表で出力できるか?」の結果を検証しています。

    ①「製品URL」のみを渡す
    ②「製品URL + 仕様ページURL」を渡す
    ③「製品URL + 仕様ページ全文テキスト」を渡す
    ④「製品URL + 仕様ページHTMLファイル」を渡す


    「今さら AI チャット?」っていうツッコミは無しでお願いします。単純な作業だからチャットでもええだろ安いし、っていう判断。

    普段は Claude Code とか CoWork を使ってたりもするので、その辺が便利なこともある程度は理解してるつもり。




    画像

    具体的な検証プロンプトは、例えば『検証パターン②:製品URL + 仕様ページURL』だとこんな感じ。

    以下の3つのスマホのスペックを比較して、一覧でアウトプットしてください。各スマホのスペックが分かりやすくなるように比較してください。

    比較項目は、各スマホの製品仕様URLからスペック情報を漏れなく収集した上で、同一項目をまとめて整理してください。

    Google Pixel 10a (SIMフリー)
    (製品公式:https://store.google.com/jp/product/pixel_10a?hl=ja)
    (製品仕様:https://store.google.com/jp/product/pixel_10a_specs?hl=ja)

    Apple iPhone 17e (SIMフリー)
    (参考URL:https://www.apple.com/jp/iphone-17e/)
    (製品仕様:https://www.apple.com/jp/iphone-17e/specs/)

    Samsung Galaxy A57 5G (SIMフリー)
    (参考URL:https://www.samsung.com/jp/smartphones/galaxy-a/galaxy-a57-5g-awesome-navy-128gb-sm-a576qdbasjp/)
    (製品仕様:https://www.samsung.com/jp/smartphones/galaxy-a/galaxy-a57-5g-awesome-navy-128gb-sm-a576qdbasjp/)


    だいぶ雑ですね。

    これは「製品URL」と「仕様ページURL」をプロンプトに記入してあげたパターンですが、これをアレンジして「仕様ページURL」を抜いたり、「仕様ページ全文テキスト」「仕様ページHTMLファイル」に変更したりで検証してみました。


    より厳密にやるなら、生成 AI に「出力項目は〇〇でお願い!」って明示してあげた方がいいです(構造化出力指定)。

    でも、「スマホのスペック比較で何していいか分からん」初期状態だったら、そもそもの出力項目を洗い出すのもシンドイです。

    「なんか全体的に・・・"いい感じ" にやってくれる生成 AI はどれだ!!」ってやりたかった。



    検証結果:全体感


    画像

    そして以下がプロンプトを投入した結果出力されたものの一覧です。


    上記「プロンプト 4 パターン × 生成 AI モデル 7つ」の出力結果を一覧にしたものが以下です。この後で詳細に見ていきますので、まずは「頑張ったんだね」くらいで赤色感だけ捉えていただければ。

    画像
    ※ピンク色セル:欲しい情報が取得できていない(出力なし)箇所。
    ※赤色セル:ハルシネーションが起きている箇所。


    出力結果の正答率を計算したものが以下。

    画像

    結論としては「Claude Opus 5 に仕様ページの HTML ファイルを渡してあげる」のが最高精度。




    ・・・検証結果の全体表、デカすぎてちょっと反省した。
    好奇心で検証を始めてしまったけど、ちょっとアホだった。


    まず、当然ですがそれぞれのモデルが項目もバラバラの仕様一覧表を出力するので、同じ項目の行を集めて、並びを整えて・・・それを統合するのが大変だった。


    今回は「何も知らない前提でいかに雑に、楽できるか」から検証を始めているのでこういう無駄な作業が発生しちゃいましたが、生成 AI には「出力項目はコレ!!」って指定できる機能(構造化出力指定)もあるので、絶対それ使ったほうがいいwwwww


    聡明な読者の皆様にとっては当たり前かもですが、そもそも正しい手順としては

    1. 仕様一覧としてどのような項目があるか調査する。

    2. 仕様比較する項目を確定させる。

    3. 確定させた仕様比較項目を、生成 AI の出力に指定した上で調査させる。

    だと思います(自戒)。



    画像

    私のような雑アホ検証手順はよくない😭

    途中で後悔が大きくなってたんだけど・・・プロンプトを修正すると作業完了してたモデルの検証もやり直しになるので進むしかなかった。でもどっちも地獄だった。


    でもほら!こういうのって実際に手を動かし始めることが大事だから!!🙄




    検証パターン①:製品URLのみ
    結果


    まずは製品 URL のみをプロンプトに渡してみたケースです。

    画像


    全体的に正答率が悪いですね。ハルシネーションもそこそこ発生しています。

    改めて解説しておきますが、「ハルシネーション」とは「生成 AI があたかも正解であるかのように誤った情報を出力すること」です。


    実際のハルシネーションが発生していた箇所は以下の赤色セル。
    左から2列目の「目視」列が正解データです。

    (Pixel 10a)

    画像

    Gemini が防水防塵性能を誤ってるのは Gemini だからいいとして(暴言)

    天下の Fable 5.1 がなぜ USB 規格を誤ったのか非常に謎。何に引っ張られたんだろうか。


    (iPhone 17e)

    画像

    製品サイズくらいは完璧にスペック表通りに回答してほしいところではある。


    (Galaxy A57)

    画像

    これも同じく、製品サイズくらいは完璧にスペック表通りに回答してほしいところではある。

    あと最大輝度も・・・どっから持ってきたんだろうかこれは。




    検証パターン②:製品URL + 仕様URL
    結果


    次に製品 URL + 仕様URL をプロンプトに渡してみたケースです。

    画像

    全体的に正答率が上がりました。なぜか Gemini だけ正答率下がってますが謎。


    こちらも実際のハルシネーションが発生していた箇所を見て行きましょう。

    (Pixel 10a)

    画像

    ①同様、ここでも金額誤ってますね。「¥71,900~」って何なのだろうか。割引込の価格なのかな。

    よく見たらカメラの絞り f/1.7 は誤りではないので、厳密にはハルシネーションではないですね。すいません・・・。

    まぁカメラの画素数くらいは出してよっていうことで許してください。


    (iPhone 17e)

    画像

    iPhone 17e でも価格が誤り・・・っていうか価格非公開なわけないだろ。なにやってんの!あとサイズも。

    逆に iPhone はバッテリー容量が非公開なんですが、4,005mAh はどっから来た。


    (Galaxy A57)

    画像

    サイズは小数点以下が丸められちゃってますが、このくらいは正確に出してほしいのでハルシネーション扱いにしちゃった。


    そしてGalaxy の「生体認証」の項目がイジわるで、目視でチェックしたんですが・・・これ公式ページに「顔認証」の文言ないんですよね。

    Claude Opus 5 が唯一 NG だった箇所で、これなければ Claude Opus 5 は全機種で正答率 100% でした。

    公式の仕様ページ的には「指紋センサー」のみでも誤りではない・・・が、モデルによってはちゃんと「指紋+顔」が出せている。

    この差はなんの差なんだろうねぇ・・・。




    検証パターン③:
    製品URL + 仕様ページ全文
    結果


    続いて製品URL + 仕様ページ全文をプロンプトに渡してみたケースです。
    仕様ページ全文は雑に全選択&コピーして、テキストファイルに貼り付け、それをプロンプトへ添付して渡してみました。


    画像

    ここでも全体的に正答率が上がりました。特に Gemini が爆上げ、ChatGPTがそれに続く。

    こちらも実際のハルシネーションが発生していた箇所を見て行きましょう。


    (Pixel 10a)

    画像

    また価格ですね。Opus 4.8 はなぜ毎回引っかかっちゃうんだろうか。


    (iPhone 17e)

    画像

    iPhone 17e は各モデルかなり優秀でした。唯一 Opus 4.8 がミス。

    Opus 4.8 残念な子なのかな。もう今は Opus 5 がリリースされてるけど、そっちは優秀。


    (Galaxy A57)

    画像

    例のごとく、Galaxy A57 の「生体認証」問題に各モデル盛大に引っかかってます。

    そんな中・・・前言撤回、なんで Opus 4.8 はコレクリアできてんの?wwwwwwやるじゃん!!



    検証パターン④:
    製品URL + 仕様ページHTMLファイル
    結果


    最後、製品URL + 仕様ページHTMLファイルをプロンプトに渡してみたケースです。

    Claude Opus 5 の最高精度がここで登場します。


    画像

    仕様ページ全文を渡した検証③と比べて、精度が下がっているモデルが多いです。

    Opus の正答率が上がっていますが、傾向としてはページ全体を雑に全選択して渡してあげた方が高精度なようです。
    あとは、HTMLファイルは無駄なタグ情報が死ぬほど含まれてしまっているので、インプットのトークンが重くなります。

    これを踏まえると、恐らく全文テキストで渡した方がコスパは良いかもしれません。


    (Pixel 10a)

    画像

    まさかのハルシネーションなし。しゅごい。


    (iPhone 17e)

    画像

    Sonnet 4.6 にハルシネーションが集中してますね。HTML 読み込み苦手なのかな。

    これも Sonnet 5 が既にリリースされてますので、もう使われることは少ないかもですが。


    (Galaxy A57)

    画像

    こちらも Sonnet 4.6 にハルシネーションが集中。やはり HTML 読み込み苦手なのか。

    あとは、またまた「生体認証」チェックで各モデル引っかかります。

    なぜここで Sonnet 4.6 と Gemini だけ「指紋+顔」を出力できてるのかマジで謎。インプットを無視する子たちだから・・・逆に精度出ちゃってるとか?


    繰り返しますが、ちょっと検証に使ったモデルが古いので今は大丈夫なケースが多いと思います。

    でもさぁ・・・古いって言っても最初の方の検証は今年の 5 月頃に実施してるので、そこから半年も経ってないんすよね。

    生成 AI 界隈の競争速度は異常。




    検証結果を踏まえて結論


    画像

    ここまで色々検証してみましたが、いかがでしたでしょうか。


    ちょっと計測とかが雑なのと、もっと良い方法あるだろ!っていうツッコミはご容赦ください。(趣味でやるには果てしなさすぎて、途中から疲れちゃった・・・すいません😭)


    この記事では意図的にハルシネーション箇所を丁寧に画像で貼り付けているので、生成 AI に慣れていない読者の方でも「あ~、ハルシネーションってこういう感じのやつを言うのね~」くらいに感じ取っていただけると嬉しいです。


    この記事の目的は

    ・ハルシネーション(生成 AI の出力誤り)を体感していただくこと

    でもあるので。




    画像

    そしてもう1つの目的、

    ・生成 AI を使ったウェブ調査のコツのご紹介

    については、生成 AI のプロンプトで、以下のように製品のURLだけ(もしくは、製品名だけ)プロンプトで渡してあげるよりも、仕様ページの全文テキストやHTMLファイルを渡してあげた方がより高い精度が出るようです。


    感覚的には「まぁ、そらそうだろ」っていう気もする。


    (精度が低くなるプロンプト例)
    製品URLのみ渡すパターン。

    以下の3つのスマホのスペックを比較して、一覧でアウトプットしてください。各スマホのスペックが分かりやすくなるように比較してください。

    Google Pixel 10a (SIMフリー)
    (参考URL:https://store.google.com/jp/product/pixel_10a?hl=ja)

    Apple iPhone 17e (SIMフリー)
    (参考URL:https://www.apple.com/jp/iphone-17e/)

    Samsung Galaxy A57 5G (SIMフリー)
    (参考URL:https://www.samsung.com/jp/smartphones/galaxy-a/galaxy-a57-5g-awesome-navy-128gb-sm-a576qdbasjp/)


    ただ微妙なところは、「せっかく生成 AI 使ってるのに仕様ページのテキストか HTML ファイル手動で取ってくんの??ダルくない???」っていう点。


    まぁこの辺は・・・チャットではなく AI エージェント使えばもう少しうまくやってくれるかもしれない。


    今回その検証も思いついたのですが・・・・・・・力尽きました🫠

    すいません。

    これ以上を趣味でやるには負荷が高かった。っていうか原動力の好奇心が満足しちゃっててこれ以上の作業は無理だった。やる気的に🤗。


    検証はしていないのであくまで予想ですが、恐らく現状プロンプトに

    • 公式仕様に記載のない仕様が存在する可能性があり、Web情報も含めて統合的に仕様を判断すること

    • 仕様が一覧で整理できたら、その結果が公式仕様に存在するかを再度チェックし精度を高めること

    • 仕様の最終チェック結果を点数で出力すること

    等のプロンプトを数行加えてやると、さらに精度が改善する気はします。

    特に自己採点プロンプトを入れると、精度が高まるようではあります。



    生成 AI の出力結果の過信は禁物


    そして、最後。今回の検証の 3 つ目の目的

    ・生成 AI が出力した成果物の過信は禁物であることの注意喚起

    ですが、ここまでのハルシネーションを見ていただいてなんとなく伝わったのではないかと思います。


    生成 AI はそもそも誤りを起こすものです。これは人が作業しても同じ。


    正確さが求められる作業において生成 AI を使用する場合は、出力結果を鵜呑みにせず、「必ずもう1段階のチェックを挟む運用設計」が肝要です。


    最初の方にも書きましたが、私のガジェットレビュー記事で「スマホ仕様比較一覧」を作成する際、私は公式ページの情報を目視チェックした上で掲載しています。


    Claude Opus 5 も最高精度が出ていますが、それでもどっか間違ってる可能性が排除できないからですね。でも「一次調査が楽できる」っていうのはそれだけでも十分に価値があります。





    個人的には生成 AI は今までの「機械的チェック」と「人間的チェック」の中間に位置しているものだと思っています。「精度は高いけれども、完全に正解ではない可能性がある」を前提として運用を設計しなければ危険です。


    今まで各業界においても、誰かがやった作業の再チェックを行うことで誤りを防いできたと思いますので、生成 AI が来たからと言ってここをすっ飛ばさないようにしましょう。


    「ダブルチェック」「クロスチェック」「レビュー」「再鑑」「監査」とかとか・・・各業界で今までもいろんな言葉が大事にされてますよね。



    画像

    インターネットの世界では生成 AI 驚き屋さんたちの情報も溢れてます。

    私も全てを否定することはできないですが、「生成 AI 万能」は誤りだと思います。

    もちろん、スピード優先で生成 AI の出力をノーチェックで使った方がいいケースもありますので、このあたりは柔軟に判断する必要があります。

    それぞれの作業に求められる精度は異なるので、全ての作業で私が言ってるような「目視チェック」しないといけないよ!!ってことでもありません。



    ただ、ネット上の「生成 AI スゴイ!なんでもできる!!」って言ってる情報を見ると、別に精度が求められない(≒バグっててもそこまで困らない or すぐ検知できる)系の「遊び」や「個人開発ゲーム」、「ホームページ制作」なんかが中心になっている気はしています。


    この感覚で精度が求められる領域に生成 AI をノーチェックで突っ込むのは危険ですので、注意しましょう。

    そこまで勢いのある人は・・・なかなかいないかもしれませんが。



    画像


    とか言いつつ、私も最近は Claude Code を使い倒しており、試しにゼロから全て生成 AI に開発させたプロジェクトなんかもありますが・・・全然動いてます。

    ほんまビックリする。かしこすぎる。


    生成 AI 産プログラムに対するブラックボックステストもそれなりにやってますが、概ね仕様通りの挙動になってて驚かされますね。たまにバグってるけど。


    最近は自分の書いたプログラムを改修させるのにも抵抗がなくなってきた。


    けどやっぱりねぇ・・・・ちょいちょいバグってたり、部分最適すぎる設計にされたり、アーキテクチャ相談の時にハルシネーション起こしてくるので、過信は禁物です。


    どっかの記事でも書きましたが、入出力のインターフェース定義あたりは人間がしっかり頭使った方がいいかなと思ってます。

    将来の拡張性や保守性に直結するのでね。小規模・短期利用の使い捨てプログラムくらいなら全投げでいいかもですが。


    でも「短期利用」だと思って作ったものって、往々にして「長期利用」に変異しがちですよね🙄。 「なんか皆が乗っかってきて使い始めちゃったぞ!?」みたいな。



    ちなみに直近 生成 AI とのやりとりで 1 番ビックリしたのは以下。

    👨 ← 俺
    🤖  ← Claude Fable 5.1(現行最強モデル)
    -------

    👨「プロジェクト全体でトークン消費量を効率化できる設計にしたいっす。プロンプトキャッシュとか使っていい感じにできない?」

    🤖「処理内容によって推論レベルを変更したらイケます。」

    👨「まじすか。でも・・・あれ?推論レベル変えるとキャッシュクリアされない?」

    🤖「すいません、キャッシュクリアされるのでむしろトークン消費量は増えます」

    👨「アホなん?」

    っていう感じのやつ。
    実際はもうちょっと混み入った話でしたが、簡略化するとほぼこれ。

    「Fable さん!?(金返せ)」ってなった。


    どうでもいいけど最近話題になってる👇の Ponytail ってコーディング skill 入れてみた。どの程度コードが改善されるか様子見してる。




    画像

    👆のプロンプトキャッシュの件とか、私のプロンプトが激悪だったと言われれば否定はできないけどさ。


    最近の「生成 AI ユースケース」って、もはや古いゲームとかの裏技みたいになってない?って思うんすよね。小学生時代に流行ったような。


    あのほら、ゲームボーイ時代のポケモンで「こうすればミュウが出るよ!!」とか「この操作でセレビィ捕まえられるよ!!」みたいな。「遊戯王カードのレア抜きはこうすんだよ!!」とかのデマと同じ香りしてる。世代バレちゃう💦


    私も最近になってぼんやり感じてるだけなので、まだうまく言葉にできないんですけど、「そもそも、それ本当に誰でも同じように活用できんの?」ってものを、できてない人に対して「それ君の操作(環境)が悪いんだよ」って言い切られ続ける感覚というかね。


    ゲームボーイとかの裏技の話は大元が完全なデマですし、生成 AI の出力はもうちょっとルールがありそうなので👆の例えが良くないかもとは思いますが、なんとな~くね・・・

    生成 AI の持つ曖昧さを強制的に個人のスキル不足に転嫁されてるような感覚というかなんというか・・・。情報商材っぽいのばっか目に入るからかもしれない。


    この感覚をうまく言語化してくれる方いないかなぁ。

    言語化できなくて申し訳ない。そもそも私の感覚自体が間違ってるかもしれないけど、個人的にモヤってる。


    もうちょっと勉強を進めて見えてくるものがあれば、いつか記事にするかも。



    おわりに


    画像

    色々と書いてみましたが、私もまだまだ生成 AI 習熟中の身です。

    今後も何か面白そうなネタがあれば、コンテンツとして提供できればと思っています。


    とりあえずこの検証は・・・疲れた🫠
    気軽な好奇心で始めてしまったことを後悔した。


    もし最後まで読んでいただけた方がいらっしゃれば、本当に大変ありがたいです。

    ここまでお付き合いいただきありがとうございました。

    ではでは~









    ▼ 他の投稿記事 ▼


    (お嬢様レビューシリーズ)



    (自己紹介)




    🖥️💾 IT関連 おすすめ記事 🔍🖱️



    📱💻 ガジェット・家電 おすすめ記事 🎧📸



    🍽️🍔 グルメ・ドライブ・お出かけ おすすめ記事 🗾🚗



    🍳🧂 お料理 おすすめ記事 🍔🍙



    👶🍼 子育ておすすめ記事 🎏🎎



    🧑‍💼🏢 キャリア おすすめ記事 ⚖️🪪


     
     

    かぬ

     
     
    『NTT5 → GAFA → 独立開業』のB2B寄りIT屋さん30代|≪ガジェット、お出かけ、ITテック、 子育て、 キャリア≫等に関することを投稿|メメント・モリの精神で生きてます|好きな方式は並列分散処理|Amazonのアソシエイトとして、かぬは適格販売により収入を得ています

    あなたへのおすすめ