Transformer Explainer (Transformer の仕組み)
GPT 系の言語モデルが次の単語をどう選ぶのかを段階ごとに見せる学習用の可視化です。ブラウザーで GPT-2(small)を実際に動かし、入力した文がトークンと埋め込みに変わり、自己注意と MLP を経て次の単語の確率が出るまでの流れを追えます。言語モデルが魔法ではなく「次に来る可能性が最も高い単語」を計算する仕組みだと理解できます。
使い方
上の入力欄に英語の文を書くか「Examples」から例文を選び、「Generate」を押すと各段階の値が画面に表示されます。Temperature や Top-k・Top-p を変えて次の単語の確率一覧がどう変わるかを比べたり、埋め込みの四角形や注意の部分にマウスを乗せると詳しい説明が出ます。画面は英語のみで、初回は600MB の GPT-2 モデルをダウンロードするため時間がかかります。