Residual Stream: 層をつなぐ川

一本の発光する川

Transformerの各層は、それぞれ独立して計算するのではなく、一本の共有された流れ——残差ストリーム——を読み書きします。ここではそれを、入力から出力へ流れる発光する川として眺めます。川は層を通るたびに少しずつ情報を足され、明るさを増していきます。