[Podcast] AIエージェントのトークン消費とプロンプトキャッシュについて話しました
Xで話題になった「たくさん回しているのに使用量がなかなか減らない人がいる」という投稿をきっかけに、AIコーディングエージェントのトークン消費とプロンプトキャッシュについてメンバーと話しました。
前半は、セッションの分け方やメモリ・AGENTS.mdの育て方など、メンバーそれぞれの普段の使い方を持ち寄りました。同じツールを使っていても、人によって運用がかなり違うことが見えてきました。話したポイントは次のとおりです。
セッションの分け方：1 PR 1スレッドを基本にして文脈を引きずらないことで、使い回すだけのトークン消費を抑えています
メモリとAGENTS.mdの育て方：毎回同じ説明を繰り返さないように、プロジェクトの前提をファイルに蓄積して参照させています
プロンプトキャッシュの仕組み：キャッシュは先頭一致で効くため、会話の前半を安定させられるかどうかが消費量に直結します
キャッシュを意識したファイル構成：変わりにくい情報を先頭側に置き、頻繁に変わる情報を後ろに寄せる構成が有利になります
モデルごとの減り方の体感差：同じ使い方でもモデルによってトークンの減り方に違いがあり、それぞれの体感を持ち寄りました
後半は、プロンプトキャッシュが先頭一致でどこまで効くのかという仕組みの話から、キャッシュを意識したファイル構成、モデルごとの減り方の体感差まで話が広がりました。使用量が減らない人と早く減る人の差は、ツールの差ではなく、文脈の持ち方とキャッシュの効かせ方の差ではないか、というのが現時点での見立てです。
そんな「トークンの賢い使い方」を、Jicooのメンバーで実務目線から話しました。Jicooのメンバーの雰囲気も合わせて、ぜひ聴いてみてください。
今、Jicooでは一緒に働く仲間を募集しています
Jicooでは、これからの開発組織を創り上げ、AI時代の新しい働き方・プロダクト開発をリードしていく仲間を積極的に募集しています。
技術でプロダクトをドライブしたい方
変化の速い環境で、AIなどの新しい技術を積極的に学び、活用したい方
チームで協力し、大きな目標を達成することに喜びを感じる方
ぜひ一度、カジュアルにお話ししてみませんか？
