トークナイザー・プレイグラウンド
入力した文がAIモデルの中でどんな断片（トークン）に分けられるかを色で見せるページです。GPT-4、Claude、Llama 3、Gemma、Mistral、BERT、T5など13種類のモデルのトークナイザーを選んで比較できます。
使い方
上の選択ボックスでモデルを選び、下の入力欄に文を書くと、トークンが色の断片に分かれて表示され、個数も一緒に出ます。同じ意味の韓国語の文と英語の文を交互に入れてみると、韓国語のほうがはるかに多くのトークンに分かれることが確認でき、これが韓国語利用時の費用や長さ制限に影響します。トークナイザーのファイルは当サイトで一緒に配信しているため、登録や外部接続なしで使えます。