LLM Visualization (言語モデルの3D解剖)
GPT 言語モデルの内部を3次元で展開し、上から下へたどっていく解説です。パラメータが8万5千個しかない nano-gpt から始め、「C B A B B C」のような文字列をアルファベット順に並べ替える単純な課題をモデルがどう処理するかを見ます。数値が埋め込みになって各層を通り、次のトークンの確率になるまで、層ごとにどんな計算が起きるかをつかめます。
使い方
画面下の「Continue」を押すかスペースキーで解説を1段階ずつ進め、3Dモデルはマウスで回転・拡大できます。左の目次から埋め込み、自己注意、ソフトマックスなどを選んで見たい部分だけ見ることもでき、上部で nano-gpt の代わりに GPT-2 や GPT-3 の規模を選んで大きさを比べられます。画面は英語のみです。