仕組みを目で — AIはどう動くのか

小さなニューラルネットワークをブラウザの中で実際に学習させてみる実習ページです。層とニューロンの数、活性化関数、学習率を変えると、データを分ける境界線がどう変わるかを目で確認できます。ダウンロードするモデルがないので、開いてすぐ動きます。

ConvNetJSは、ブラウザでディープラーニングモデルを学習できるライブラリです。デモを使用すると、ニューラルネットワークの学習プロセスと結果を視覚化することができます。

word2vecが単語ベクトルを作っていく過程を一段階ずつ目で追える道具です。「eat|apple, drink|milk」のようなごく小さな学習データを入れて学習を進めると、入力・出力の重み行列のマスの色が少しずつ変わり、下のPCA図で単語の点が位置を定めていきます。埋め込みがあらかじめ決まった値ではなく、繰り返しの学習を通じて少しずつ作られた結果であることを理解できます。

単語などのデータを数百次元のベクトルで表した埋め込みを、2次元や3次元に落として見せるTensorFlowのツールです。開くと200次元のWord2Vec単語1万個が点として並んでおり、単語を一つ選ぶとそれに最も近い単語が一覧で表示されます。意味の近い単語が空間の中で近くに集まるという埋め込みの基本的な性質を目で確かめられます。

ユーザーが CNN の内部動作を理解しやすくするために実装したプログラムです。画像認識プロセスを段階的に視覚化して表示できます。

手書き数字を当てる畳み込みニューラルネットワーク(CNN)の内部を3次元に展開して見せる可視化です。入力層から畳み込み層、ダウンサンプリング層、全結合層、出力層へと進むにつれ、絵が次第に小さく抽象的な値へ要約されていく過程を見られます。ニューラルネットワークが一つの黒い箱ではなく、役割の異なる層のつながりであることを理解できます。

TensorFlowで事前トレーニングされたディープラーニングモデルをロードして、3Dビジュアライゼーションシーンに出力します。各モデルの処理プロセスを可視化して表示できます。

入力した文がAIモデルの中でどんな断片（トークン）に分けられるかを色で見せるページです。GPT-4、Claude、Llama 3、Gemma、Mistral、BERT、T5など13種類のモデルのトークナイザーを選んで比較できます。

言語モデルが文章をどんな単位（トークン）に分割するかを目で確かめるツールです。文章を入力すると、トークン数と色分けされたトークンの断片、そして各トークンの数値IDがすぐに表示されます。会話形式が実際にどんな特殊記号とともにモデルへ渡されるかも確認できます。

GPT 系の言語モデルが次の単語をどう選ぶのかを段階ごとに見せる学習用の可視化です。ブラウザーで GPT-2(small)を実際に動かし、入力した文がトークンと埋め込みに変わり、自己注意と MLP を経て次の単語の確率が出るまでの流れを追えます。言語モデルが魔法ではなく「次に来る可能性が最も高い単語」を計算する仕組みだと理解できます。

Transformerモデルのアテンションのパターンを、層とヘッドごとに一画面に並べて比べる可視化ツールです。クエリベクトルとキーベクトルを同じ空間に投影するため、ヘッドごとにまったく違う形のパターンが現れるのを一目で見られます。アテンションヘッドがそれぞれ別の関係を捉えていることを確かめられますが、Transformerの構造をすでに知っている学習者向けです。

GPT 言語モデルの内部を3次元で展開し、上から下へたどっていく解説です。パラメータが8万5千個しかない nano-gpt から始め、「C B A B B C」のような文字列をアルファベット順に並べ替える単純な課題をモデルがどう処理するかを見ます。数値が埋め込みになって各層を通り、次のトークンの確率になるまで、層ごとにどんな計算が起きるかをつかめます。

GANの学習プロセスをインタラクティブなビジュアライゼーションツールでリアルタイムで見ることができるプログラムです

Stable Diffusionが文章をどのように画像へ変えるのかを段階ごとに見せる可視化資料です。文をトークンに分け、ベクトルに変え、ランダムノイズを少しずつ取り除いて画像を整え、最後に解像度を上げるまでの流れを一画面で追えます。