残差流：贯穿各层的河流
将残差流看作一条发光的河流，每一层都从中读取并向其写入，注意力与MLP支流不断汇入新特征。
由英文原文机器翻译。 打开英文原文
一条发光的河流
Transformer 的每个 layer 并非独立运算——它从一条共享的流中读取,又向其中写入,这条流就是残差流。在这里,我们把它看作一条从输入流向输出的发光河流。每当河流穿过一个 layer,就会有更多信息汇入,河流也随之更加明亮。
观察河流从输入流向输出,穿过每个 layer 时逐渐变亮。
Stream contents
主语1.2
实体1.0
时态0.9
情感1.2
attn:汇聚上下文 / mlp:输出前的收尾. 最后一层整理全局,完成交给下一词预测的表示。