Residual Stream: 層をつなぐ川
Transformerの各層が読み書きする残差ストリームを、支流が合流する一本の発光する川として探索します。attentionとMLPが特徴を書き込み、後段の層がそれを読み出して足し引きする様子を追います。
一本の発光する川
Transformerの各層は、それぞれ独立して計算するのではなく、一本の共有された流れ——残差ストリーム——を読み書きします。ここではそれを、入力から出力へ流れる発光する川として眺めます。川は層を通るたびに少しずつ情報を足され、明るさを増していきます。
川が入力から出力へ流れ、層を通るごとに明るくなる様子を眺める。
Stream contents
主語1.2
固有物1.0
時制0.9
感情1.2
attn: 文脈をまとめる ／ mlp: 出力前の仕上げ。最終層が全体を整え、次トークン予測へ渡す表現を仕上げます。