Series Expedition
Large Language Models
大規模言語モデルの内部を、埋め込み空間、自己注意、残差ストリーム、次トークン予測の4章で、近未来的な3Dとして探索します。
推奨ルート
選んだ順路で、同じ対象の見方を段階的につなぎます。
1/4 · 公開中Embedding Nebula
トークンを意味空間の星雲として3D射影し、king − man + woman ≈ queen のベクトル演算を光跡でたどります。
2/4 · 公開中Attention Beams
トークン同士を結ぶ自己注意を光線網として可視化し、softmax(QKᵀ/√dk) の重みを触って確かめます。
3/4 · 公開中Residual Stream
各層が情報を書き込み・読み出しする残差ストリームを、支流が合流する一本の発光する川として描きます。
4/4 · 公開中Next-token Prediction
logitsがsoftmaxを通って確率分布になり、temperatureで尖ったり平らになったりする山の崩壊を観察します。