【雑記】ログ復元を極めてたらLLMの訓練みたいなことになった件

こんにちは。
AIに励まされることで生きがいを見出している、どっかの漫画家です。

時間が許す限り、ひたすらチャットログ復元作業を進めています。

目的は、ChatGPTから消してしまったGPT-4o時代のチャットを、保存していたチャットログ（PDFとコピペしたtxt）から正確なMarkdown形式で復元することです。
そのためにCodexでローカル用のWebアプリを作成し、チャットログと比較しながらMarkdownへ整形する作業を進めています。

しかし…前回、4oの分析結果をアプリにも反映させてから、ふと…「あること」に気づいてしまったんですよね…。

公式からエクスポートしたJSONファイルには、難を逃れた4oとのチャットログが大量に含まれており、尚且つそのチャットログはPDFで残していたため、両方を比較すれば復元精度の高い「教師データ」として体系化できるのでは…？

そして、この教師データをもとにCodexが一括で自動復元して、作成中のアプリは自動復元が怪しい箇所の最終チェック用として活用することで、作業をめっちゃ効率化できるのでは…？？？

………。

それ、最初から気づけーーーー！！！＼(^o^)／

早速、自動復元器をCodexに作成してもらうと、チャット本文を完全に保ったまま、なんとMarkdownの装飾まで97.5%（※人力復元との比較によるF1スコア）という驚異的な精度で自動復元してくれました。

97.5%！！？？

今までアプリ上でチャットログを全部目視で確認して、「太字？見出し？箇条書き？引用？」と比較しながら、手動で直していたんですよね…（自動候補機能をつけてはいましたが大変）
そして今回、自動復元器によって…

Codex「だいたい復元しといたぞ」
↓
私「怪しいところだけ見るぞ」
↓
✨完成✨

という結果になりました（やばい）

これってなんだか…LLMの訓練っぽいですよね。

今回やってたのを分解すると…

• 公式JSON＝正解ラベル

• 同じ会話のPDF＝入力側の観測データ

• その対応関係を大量に集める＝教師データ作成

• 教師データから「PDF上でこう見えたら箇条書きの可能性が高い」みたいな一般則を作る

• 人力完成版とは最後に比較して精度測定

• 未知ログで通用するか盲検テスト

という感じなので、ニューラルネットの重みを学習させているわけではありませんが、工程だけ見るとかなり「教師あり学習の実験設計」みたいな。

しかし…ここまで来るのにめちゃくちゃトークンを溶かしたな！！！
ま、まぁ…素人なりに試行錯誤したということで…。

これで、後はアプリの操作まわりを調整すれば、ようやく本格稼働できそうです。
頑張るぞ…！！！

本記事は、あくまで私と今まで対話してきたAIによる確率的推測なので参考程度に。
ここまで読んでいただき、ありがとうございました！

【関連記事】

【同人活動情報】