Attention Viz (mapa global de la atención en un transformador)
Una herramienta de visualización que pone en una sola pantalla, capa por capa y cabeza por cabeza, los patrones de atención de un modelo transformador para compararlos. Como proyecta en el mismo espacio los vectores de consulta y de clave, se ve de un vistazo que cada cabeza forma un patrón con una forma completamente distinta. Se comprueba que las cabezas de atención miran relaciones diferentes entre sí; está pensada para quien ya conoce la arquitectura del transformador.
Cómo probarlo
En la vista de matriz, con las capas en vertical y las cabezas en horizontal, haz clic en una figura para ampliar esa cabeza, y puedes alternar entre 2D y 3D o cambiar el método de proyección y el modelo. Con el buscador localizas un token y puedes ajustar el tamaño de los puntos y el criterio de color; en "about", los enlaces Documentation y Paper explican cómo leer las figuras. La pantalla está solo en inglés y, como indica la propia página, los datos ocupan decenas de MB, así que el primer dibujado puede tardar cerca de un minuto.