Series Expedition
Large Language Models
大規模言語モデルの内部を、埋め込み空間、自己注意、残差ストリーム、次トークン予測の4章で、近未来的な3Dとして探索します。
推奨ルート
選んだ順路で、同じ対象の見方を段階的につなぎます。
1/4 · Available
Embedding Nebula
トークンを意味空間の星雲として3D射影し、king − man + woman ≈ queen のベクトル演算を光跡でたどります。
- 到達目標
- 語が高次元ベクトルとして意味空間に並ぶ感覚をつかむ
- Asset
- Procedural point-cloud nebula
Attention Beams
トークン同士を結ぶ自己注意を光線網として可視化し、softmax(QKᵀ/√dk) の重みを触って確かめます。
- 到達目標
- "it" がどの語を見ているかを注意重みとして説明できる
- Asset
- Procedural attention scene
Residual Stream
各層が情報を書き込み・読み出しする残差ストリームを、支流が合流する一本の発光する川として描きます。
- 到達目標
- 層がストリームへ少しずつ情報を足す流れを追える
- Asset
- Procedural flowing river metaphor
Next-token Prediction
logitsがsoftmaxを通って確率分布になり、temperatureで尖ったり平らになったりする山の崩壊を観察します。
- 到達目標
- 出力が確率分布から1語へ収束する過程を説明できる
- Asset
- Procedural probability landscape