Tiktokenizer (ver cómo se parte el texto en tokens)
Una herramienta para ver con qué unidades (tokens) parte un modelo de lenguaje una frase. Al escribir un texto aparecen al momento el número de tokens, los fragmentos separados por colores y el número identificador de cada uno. También puedes ver con qué marcas especiales llega realmente al modelo una conversación.
Cómo probarlo
Arriba a la izquierda elige un modelo, por ejemplo gpt-4o, y escribe en los campos System y User: a la derecha se actualizan al instante el Token count, los fragmentos y la lista de identificadores. Con "Add message" alargas la conversación, y si activas "Show whitespace" ves cómo se pegan los espacios a los tokens. Va muy bien escribir en español y en inglés para comparar cuántos tokens gasta cada idioma. La pantalla está solo en inglés.