Attention: 言葉が言葉を見るしくみ

大規模言語モデルの中心にある自己注意を、トークン同士を結ぶ光線網として探索します。"it" がどの語を見ているかを、softmax(QKᵀ/√d_k)·V の重みとして触って確かめます。