Tiktokenizer (トークン分割の体験)
言語モデルが文章をどんな単位（トークン）に分割するかを目で確かめるツールです。文章を入力すると、トークン数と色分けされたトークンの断片、そして各トークンの数値IDがすぐに表示されます。会話形式が実際にどんな特殊記号とともにモデルへ渡されるかも確認できます。
使い方
左上でgpt-4oなどのモデルを選び、SystemとUserの欄に文章を入れると、右側のToken countとトークンの断片、数値IDの一覧が即座に更新されます。「Add message」で会話を増やし、「Show whitespace」をオンにすると空白がどうトークンに含まれるかを確認できます。日本語を入力して英語より何倍トークンを使うか比べてみると分かりやすいです。画面は英語のみです。