Transformer Explainer (cómo funciona un transformador)
Una visualización didáctica que muestra paso a paso cómo un modelo de lenguaje tipo GPT elige la palabra siguiente. Ejecuta GPT-2 (small) de verdad en el navegador, así que puedes seguir cómo tu frase se vuelve tokens y embeddings, pasa por la autoatención y el MLP y termina en las probabilidades de la palabra siguiente. Se entiende que un modelo de lenguaje no es magia, sino un aparato que calcula qué palabra es más probable a continuación.
Cómo probarlo
Escribe una frase en inglés en el campo de arriba o elige una de "Examples", y pulsa "Generate" para que se llenen los valores de cada etapa. Cambia Temperature y los valores de Top-k y Top-p para comparar cómo varía la lista de probabilidades, y pasa el mouse sobre los cuadros de embedding o sobre la parte de atención para ver explicaciones en detalle. La pantalla está solo en inglés y la primera ejecución tarda porque descarga el modelo GPT-2, de unos 600 MB.