最新AI トークナイザーの詳解

はじめに――モデルは、文字を、読んでいない

言語モデルに文章を渡すと、モデルは、その文章を、文字としては読んでいません。まず「トークナイザー」という部品が、文章を「トークン」という部品の列に刻み、番号に変えます。モデルが扱うのは、それ以降、その番号の列だけです。窓口の料金も、文脈の上限も、全てトークンの数で数えられます。この地味な前処理が、費用と、出来と、不思議な弱点の、多くを決めています。

主流の刻み方は「サブワード」です。単語単位では語彙が際限なく増え、未知の単語で壊れる。文字単位では、列が長くなりすぎて、注意の費用が膨らむ。その中間を取り、よく出る並びは大きな塊に、珍しい単語は細かく刻む。その代表が「BPE」です。本記事では、仕組み、提供と費用、性能の読み方、そして弱点を、確認できる事実をもとに詳しく整理します。