メインコンテンツへスキップ
見出し画像

作って終わりじゃなかった。実戦初日で、仕様書に赤字を入れることになった

    Claude Codeで、SNS相談をする用に8人のAIチームを作りました。 今回、実際のYouTubeデータを渡して、初めて実戦で使ってみた記録です。

    1.AIチームをつかってみる

    Claude Codeというツールを使って、SNSの発信について相談できる「AIチーム」を8月に作りました。ブランドの見せ方、YouTubeの伸ばし方、noteの書き方、数字の読み方……それぞれ得意分野の違う8人が、意見を出し合いながら答えてくれる、という仕組みです。

    「作れた」時点では、チームとしての設定(役割分担・進行ルールなど)は一通り整えました。ただ、実際に自分の仕事で使ってみて分かったのは、作ることと、使えることは別だった、ということです。

    今回は、このAIチームに初めて本物のデータ――実際のYouTube Studioの画面――を渡して、分析をお願いしました。ここから、「作って終わり」では済まなかった2日間が始まります。


    2.実戦初日に起きた、いくつかのつまずき

    結論から言うと、初日から何度かつまずきました。ここでは、特に分かりやすかった出来事を2つ紹介します。

    ひとつ目は、数字の勘違いです。

    chatでやりとりしていると、AIがいっていることが、「?」となります。

    実は、ある動画について、AIチームは「12回しか見られていない」という前提で話を進めていました。ところが、その動画は実際には1,583回見られていたものなのです!
    理由は単純で、AIが「直近28日間だけの数字」と「その動画が生まれてからの累計」を、同じもののように扱っていたからです。

    ふたつ目は、根拠のない評価です。

    「登録者が3人増えた」という結果について、AIチームの一人が「かなり弱い数字ですね」と言い切りました。けれど、それが弱いと言える比較対象――たとえば、いつもならどれくらい増えるのか――は、どこにも示されていませんでした。聞いてみると、比べる基準がないまま、印象だけで「弱い」と言っていたのです。
    →私は、「弱いのか。。。」という少し下降気味のテンションで脳内処理していました。なぜかというと、現在、私のyoutube登録者は14人で、11人から一気に3人増したのです。なので、「なぜ、この動画で3人増えたか。」という前向きな気分で、分析を待っていたので。。。人間て、言葉ひとつでも、影響受けますね。

    どちらも、指摘すれば「たしかにその通りです」と、AI自身があっさり認めました。でも、指摘しなければ、そのまま「弱い数字だった」という結論で話が進んでいた可能性があります。そう思うと、私のメンタルへの影響よりも、話の方向が変わり、実害が大きい!


    3.直す前に、まず「すでにあるルール」を確認した

    こうした問題が起きたとき、すぐに「新しいルールを作ろう」とはしませんでした。まず確認したのは、そもそも今のルールに、この問題を防ぐ仕組みがあったのかどうか、チェック!

    調べてみると、問題は大きく2種類に分かれました。

    • すでにルールはあったのに、守られていなかったもの(たとえば、話題を変える前にはユーザーに確認する、というルールはあったのに、返事を待たずに次へ進んでしまっていた)

    • そもそも、ルール自体が足りていなかったもの(たとえば、「根拠なく強い・弱いと評価しない」というルールは、どこにも存在していなかった)

    原因が違えば直し方も違います。この仕分けをしてから、次のステップに進みました。


    4.仕様書に、6項目の赤字を入れた

    最終的に、AIチームの「ルールブック」にあたる仕様書を見直して、6つの項目を補強することになりました。内容を簡単にまとめると、こうなります。

    1. 違う条件の数字を、そのまま比べない(期間や集計の対象が違う数字は、揃えてから比べる)
      →基本。AIは賢いと思っていますが、使っていると、なんだか頼りなく感じる時もあります。こういう基本のところができていない時、あります。

    2. 根拠のないまま「強い・弱い」と決めつけない(比べる基準を示せないなら、断定しない)
      →私への配慮をして~(実害につながる可能性もあり)

    3. 本当に確認できるか分からないデータを、安易に求めない

    4. 追加のデータをお願いするときは、何のために必要かを一緒に伝える
      →分析屋さんみたいになって、私へ「これもあれもみせて」と不要なデータも要求してきてました。

    5. 専門的な言葉を使うときは、簡単な意味も添える
      →これは、私が知識がついてきたら、要らないかも。

    6. 話題を変える前には、確認したうえで返事を待つ

    技術的な作業自体は、既存のファイルに数行ずつ追記しただけでした。でも、この地味な作業が、この後すぐに効いてくることになります。


    5.なかなかよかった点

    ここまで、つまずいた話ばかり書いてきましたが、悪いことばかりだったわけではありません。

    ・根拠のない仮説だと分かった時点で、それを押し通さずに撤回できました

    • YouTubeの仕組みについて分からない部分は、実際に公式の情報を確認しにいき、それを踏まえて答えを直すことができました

    • そして最後まで分からなかったこと――「なぜこの動画だけ登録者が増えたのか」――については、無理に理由をでっち上げず、「今のデータでは分かりません」で止まることができました

    最後の分からないことを、分からないままにできる、というのは、今回の実戦テストで確認できた点のひとつです。
    これは、人間でもあることで、危険ですよね。その人が、「自分は正しい」と思って意見をされると、そういう流れになって、間違った方向にすすむこと。


    6.直したルールが、この記事を作る過程で早速働いた

    実は、この記事自体も、そのAIチームと一緒に企画しています。

    そして、YouTube分析の話からnote記事の企画に話題が移るとき――つまり、まさに直したばかりの「話題を変える前に確認して、返事を待つ」というルールが必要になる場面が、すぐにやってきました。

    結果として、AIチームはきちんと立ち止まり、確認をとってから記事づくりを始めました。仕様書は、修正した直後に、もう別の仕事の中で正しく動いていたことになります。

    「作って終わり」ではなく、「使いながら直して、育てる」。今回の2日間は、そのことを実感した時間でした。


    7.実は、AI分析に不安は感じている

    修正しましたが、本当に役立つ分析をしてくれるのか、不安はあります。
    なぜなら、コンスタントにyoutubeの動画の視聴回数が1000回を超えていないから。
    なぜなら、youtubeの動画の登録者が10人台だから。

    成果をだしていないので、信用できない。

    今回、修正をして、一応、チームを完成したとみなしました。しかし、違う期間で比較したり、目的を把握しないまま、データ分析をしようとしたり。頼りない。(修正は加えましたが。。。)

    当然の前提がぬけたまま、突き進む可能性を感じます。本当に役立つチームになってくれるか、気持ちの面で、成果がでるまで信用できないのです。

    私の視点や他のセンス、知識と経験の絶対的な不足。文章力、技術力の問題など、私の未熟さが根本原因かもしれませんが。。。

    ただ、「転がる石に苔は生えぬ」精神で、色々と自分で考えて、挑戦して、その記録をみたどなたかが元気になってくれたらいいので、ボチボチ、AIと歩んでゆきます🎵

    「作って終わり」ではなく、これからも使いながら試していきます。このAIチームをゼロから作った経緯そのものは、21日からお届けする予定です。
    信用できるようになるのか、正直まだ分かりません。それも含めて、記録していきます。

    8.関連記事

    ここまで来る前、AI挑戦5か月目に一度これからの方向を振り返っています。


    AIへの頼み方そのものも、少しずつ試しています。最近は「100案考えて」から始める方法も試しました。


    #ClaudeCode #生成AI #AI活用  #AIチーム  #AIとやってみた #50代 #50代からの挑戦 #AI初心者 #SNS運用 #YouTube #note #学びの記録 #やってみた

    この記事が参加している募集

     
     
    50歳|主婦|2026年1月noteスタート 機械音痴の主婦が、AIにハマって色々と挑戦中 ChatGPT、Claude、AI画像、動画、Claude Codeまで。 「自分にもできるかも」と思ってほしくて、 失敗や試行錯誤、そのまま書いています。 50歳からの挑戦日記

    あなたへのおすすめ