Fill in the Blank (qué aprendió un modelo de lenguaje)
Un ensayo visual de Google PAIR que hace que el modelo de lenguaje BERT rellene el hueco de una frase para examinar qué aprendió sobre el mundo. Con frases como "in texas, they like to buy ___" puedes comprobar que basta cambiar el nombre de un lugar para que cambien las palabras candidatas y su orden de probabilidad. Se entiende que la predicción de un modelo de lenguaje no es conocimiento neutral, sino una asociación estadística presente en los textos con los que se entrenó, y que por eso también aprende los sesgos sociales.
Cómo probarlo
Haz clic en las palabras de los ejemplos del texto o edita la frase en el campo de entrada y pulsa "Update Sentence": BERT irá listando las palabras candidatas con su probabilidad. En la herramienta de comparación de abajo puedes elegir cuántos tokens mostrar y el tipo de gráfico, y alternar el modelo entre BERT y Zari para ver la diferencia entre las predicciones de dos frases. La pantalla y la entrada están solo en inglés y, como se advierte en la propia página, los textos con los que se entrenó el modelo contienen estereotipos dañinos.