wevi (単語埋め込みの学習を観察する)
word2vecが単語ベクトルを作っていく過程を一段階ずつ目で追える道具です。「eat|apple, drink|milk」のようなごく小さな学習データを入れて学習を進めると、入力・出力の重み行列のマスの色が少しずつ変わり、下のPCA図で単語の点が位置を定めていきます。埋め込みがあらかじめ決まった値ではなく、繰り返しの学習を通じて少しずつ作られた結果であることを理解できます。
使い方
「Presets」で「Fruit and juice (CBOW)」や「King and queen」などの例を選び「Update and Restart」を押した後、「Next」や20・100・500のボタンで好きなだけ学習を進めます。Neurons、Weight Matrices、Vectors、PCAの各表示で同じ学習がそれぞれどう見えるかを比べられ、学習データや隠れ層の大きさ・学習率を書き換えることもできます。画面と入力が英語のみで、表示領域が広いためデスクトップのブラウザを推奨します。