Fill in the Blank (言語モデルは何を学んだのか)
Google PAIRが作った視覚的な解説で、言語モデルBERTに文の空欄を埋めさせ、モデルが世界について何を学んだのかを調べます。「in texas, they like to buy ___」のように地名を一つ変えるだけで候補の単語と確率の順位が変わる様子を自分で確かめられます。言語モデルの予測が中立的な知識ではなく学習した文章に含まれる統計的な連想であり、そのため社会的な偏りまで一緒に学んでしまうことを理解できます。
使い方
本文の例文の単語をクリックするか、入力欄に文を書き換えて「Update Sentence」を押すと、BERTが予測した候補の単語が確率とともに並びます。下の比較ツールでは表示するトークン数とグラフの種類を選び、モデルをBERTとZariで切り替えて二つの文の予測の差を見られます。画面と入力が英語のみで提供され、ページにも記されているとおりモデルが学習した文章には有害なステレオタイプが含まれています。