残差流：贯穿各层的河流

一条发光的河流

Transformer 的每个 layer 并非独立运算——它从一条共享的流中读取,又向其中写入,这条流就是残差流。在这里,我们把它看作一条从输入流向输出的发光河流。每当河流穿过一个 layer,就会有更多信息汇入,河流也随之更加明亮。