
作って終わりじゃなかった。実戦初日で、仕様書に赤字を入れることになった
Claude Codeで、SNS相談をする用に8人のAIチームを作りました。 今回、実際のYouTubeデータを渡して、初めて実戦で使ってみた記録です。
1.AIチームをつかってみる
Claude Codeというツールを使って、SNSの発信について相談できる「AIチーム」を8月に作りました。ブランドの見せ方、YouTubeの伸ばし方、noteの書き方、数字の読み方……それぞれ得意分野の違う8人が、意見を出し合いながら答えてくれる、という仕組みです。
「作れた」時点では、チームとしての設定(役割分担・進行ルールなど)は一通り整えました。ただ、実際に自分の仕事で使ってみて分かったのは、作ることと、使えることは別だった、ということです。
今回は、このAIチームに初めて本物のデータ――実際のYouTube Studioの画面――を渡して、分析をお願いしました。ここから、「作って終わり」では済まなかった2日間が始まります。
2.実戦初日に起きた、いくつかのつまずき
結論から言うと、初日から何度かつまずきました。ここでは、特に分かりやすかった出来事を2つ紹介します。
ひとつ目は、数字の勘違いです。
chatでやりとりしていると、AIがいっていることが、「?」となります。
実は、ある動画について、AIチームは「12回しか見られていない」という前提で話を進めていました。ところが、その動画は実際には1,583回見られていたものなのです!
理由は単純で、AIが「直近28日間だけの数字」と「その動画が生まれてからの累計」を、同じもののように扱っていたからです。
ふたつ目は、根拠のない評価です。
「登録者が3人増えた」という結果について、AIチームの一人が「かなり弱い数字ですね」と言い切りました。けれど、それが弱いと言える比較対象――たとえば、いつもならどれくらい増えるのか――は、どこにも示されていませんでした。聞いてみると、比べる基準がないまま、印象だけで「弱い」と言っていたのです。
→私は、「弱いのか。。。」という少し下降気味のテンションで脳内処理していました。なぜかというと、現在、私のyoutube登録者は14人で、11人から一気に3人増したのです。なので、「なぜ、この動画で3人増えたか。」という前向きな気分で、分析を待っていたので。。。人間て、言葉ひとつでも、影響受けますね。
どちらも、指摘すれば「たしかにその通りです」と、AI自身があっさり認めました。でも、指摘しなければ、そのまま「弱い数字だった」という結論で話が進んでいた可能性があります。そう思うと、私のメンタルへの影響よりも、話の方向が変わり、実害が大きい!
3.直す前に、まず「すでにあるルール」を確認した
こうした問題が起きたとき、すぐに「新しいルールを作ろう」とはしませんでした。まず確認したのは、そもそも今のルールに、この問題を防ぐ仕組みがあったのかどうか、チェック!
調べてみると、問題は大きく2種類に分かれました。
すでにルールはあったのに、守られていなかったもの(たとえば、話題を変える前にはユーザーに確認する、というルールはあったのに、返事を待たずに次へ進んでしまっていた)
そもそも、ルール自体が足りていなかったもの(たとえば、「根拠なく強い・弱いと評価しない」というルールは、どこにも存在していなかった)
原因が違えば直し方も違います。この仕分けをしてから、次のステップに進みました。
4.仕様書に、6項目の赤字を入れた
最終的に、AIチームの「ルールブック」にあたる仕様書を見直して、6つの項目を補強することになりました。内容を簡単にまとめると、こうなります。
違う条件の数字を、そのまま比べない(期間や集計の対象が違う数字は、揃えてから比べる)
→基本。AIは賢いと思っていますが、使っていると、なんだか頼りなく感じる時もあります。こういう基本のところができていない時、あります。根拠のないまま「強い・弱い」と決めつけない(比べる基準を示せないなら、断定しない)
→私への配慮をして~(実害につながる可能性もあり)本当に確認できるか分からないデータを、安易に求めない
追加のデータをお願いするときは、何のために必要かを一緒に伝える
→分析屋さんみたいになって、私へ「これもあれもみせて」と不要なデータも要求してきてました。専門的な言葉を使うときは、簡単な意味も添える
→これは、私が知識がついてきたら、要らないかも。話題を変える前には、確認したうえで返事を待つ
技術的な作業自体は、既存のファイルに数行ずつ追記しただけでした。でも、この地味な作業が、この後すぐに効いてくることになります。
5.なかなかよかった点
ここまで、つまずいた話ばかり書いてきましたが、悪いことばかりだったわけではありません。
・根拠のない仮説だと分かった時点で、それを押し通さずに撤回できました
YouTubeの仕組みについて分からない部分は、実際に公式の情報を確認しにいき、それを踏まえて答えを直すことができました
そして最後まで分からなかったこと――「なぜこの動画だけ登録者が増えたのか」――については、無理に理由をでっち上げず、「今のデータでは分かりません」で止まることができました
最後の分からないことを、分からないままにできる、というのは、今回の実戦テストで確認できた点のひとつです。
これは、人間でもあることで、危険ですよね。その人が、「自分は正しい」と思って意見をされると、そういう流れになって、間違った方向にすすむこと。
6.直したルールが、この記事を作る過程で早速働いた
実は、この記事自体も、そのAIチームと一緒に企画しています。
そして、YouTube分析の話からnote記事の企画に話題が移るとき――つまり、まさに直したばかりの「話題を変える前に確認して、返事を待つ」というルールが必要になる場面が、すぐにやってきました。
結果として、AIチームはきちんと立ち止まり、確認をとってから記事づくりを始めました。仕様書は、修正した直後に、もう別の仕事の中で正しく動いていたことになります。
「作って終わり」ではなく、「使いながら直して、育てる」。今回の2日間は、そのことを実感した時間でした。
7.実は、AI分析に不安は感じている
修正しましたが、本当に役立つ分析をしてくれるのか、不安はあります。
なぜなら、コンスタントにyoutubeの動画の視聴回数が1000回を超えていないから。
なぜなら、youtubeの動画の登録者が10人台だから。
成果をだしていないので、信用できない。
今回、修正をして、一応、チームを完成したとみなしました。しかし、違う期間で比較したり、目的を把握しないまま、データ分析をしようとしたり。頼りない。(修正は加えましたが。。。)
当然の前提がぬけたまま、突き進む可能性を感じます。本当に役立つチームになってくれるか、気持ちの面で、成果がでるまで信用できないのです。
私の視点や他のセンス、知識と経験の絶対的な不足。文章力、技術力の問題など、私の未熟さが根本原因かもしれませんが。。。
ただ、「転がる石に苔は生えぬ」精神で、色々と自分で考えて、挑戦して、その記録をみたどなたかが元気になってくれたらいいので、ボチボチ、AIと歩んでゆきます🎵
「作って終わり」ではなく、これからも使いながら試していきます。このAIチームをゼロから作った経緯そのものは、21日からお届けする予定です。
信用できるようになるのか、正直まだ分かりません。それも含めて、記録していきます。
8.関連記事
ここまで来る前、AI挑戦5か月目に一度これからの方向を振り返っています。
AIへの頼み方そのものも、少しずつ試しています。最近は「100案考えて」から始める方法も試しました。
#ClaudeCode #生成AI #AI活用 #AIチーム #AIとやってみた #50代 #50代からの挑戦 #AI初心者 #SNS運用 #YouTube #note #学びの記録 #やってみた