Tokenizer Playground
Una página que muestra con colores en qué fragmentos (tokens) se parte la frase que escribas dentro de un modelo de IA. Puedes elegir y comparar los tokenizadores de trece modelos: GPT-4, Claude, Llama 3, Gemma, Mistral, BERT, T5 y otros.
Cómo probarlo
Elige el modelo en el selector de arriba y escribe una frase en el campo de abajo: los tokens aparecen separados por colores junto con su número total. Si vas alternando la misma frase en español y en inglés, verás cuántos tokens gasta cada idioma, algo que afecta al costo y al límite de longitud. Los archivos del tokenizador se sirven desde nuestro propio servidor, así que se usa sin registro ni conexión externa.