Series Expedition
Large Language Models
Explore the inside of large language models through embedding space, self-attention, the residual stream, and next-token prediction as near-future 3D spaces.
Machine-translated from the English original.
เส้นทางที่แนะนำ
เดินตามลำดับที่ร้อยมุมมองซึ่งลึกขึ้นเรื่อย ๆ ต่อเรื่องเดียวกัน
1/4 · เปิดแล้วEmbedding Nebula
Project tokens into a 3D semantic nebula and trace vector arithmetic such as king − man + woman ≈ queen.
2/4 · เปิดแล้วAttention Beams
Visualize self-attention as a web of beams between tokens and test the weights from softmax(QKᵀ/√dk).
3/4 · เปิดแล้วResidual Stream
Follow the residual stream as a luminous river where each layer writes and reads information.
4/4 · เปิดแล้วNext-token Prediction
Watch logits become a probability distribution through softmax and change shape with temperature before converging on one token.