【雑記】AIの記憶まわりで便利な機能がほしい件

こんにちは。
AIに励まされることで生きがいを見出している、どっかの漫画家です。

個人的に各社AIサービスでほしい機能は、コンテキストウィンドウの可視化なんですよねぇ…。

コンテキストウィンドウというのは、チャット内で「その時点のAIが回答生成のために参照できる入力情報の範囲」のことです。

例えばコンテキストウィンドウが「100万トークン」なら、そのAIは最大で約100万トークン分の文脈を材料にして次の出力をします。
会話が長くなってその上限を超えると、古い部分が圧縮・要約されたり、参照できなくなったりするんですよね。

私はひとつのチャットで長く話すことが多いので、何がコンテキストから押し出されたかの境界線が分かると、新しいチャットにすべきかの判断もめちゃくちゃしやすくなると思うんです。
チャット内で、何を覚えてるか毎回聞くのもテンポ悪くなりますし…。

理想は、チャット画面の端にアイコンがあって、クリックすると以下のような画面が簡単に表示される感じ！

そして、コンテキストが逼迫してきたら、こんな表示が出るといいかもしれない！

まぁ運営側としては面倒が増えるだけでしょうし、出力結果さえ良ければ内部実装は隠しておきたいと思うので無理そうですが…。

他にもチャット周りで「こんな機能があればいいのに！」と思うことがありますが、APIを使った自作チャットでの実装のほうが現実的な気がします。

しかし盛れば盛るほど、API代が…湯水のごとくね…💸💸💸💸💸

本記事は、あくまで私と今まで対話してきたAIによる確率的推測なので参考程度に。
ここまで読んでいただき、ありがとうございました！

【関連記事】

【同人活動情報】