殘差流：流貫各層的河流
將殘差流視為一條每一層都會讀取與寫入的發光河流，注意力與MLP支流則不斷匯入特徵。
由英文原文機器翻譯而成。 開啟英文原文
一條發光的河流
Transformer 的每一層並非獨立運算——它們讀取並寫入同一條共享的流動，也就是殘差流。在這裡，我們將它視為一條從輸入流向輸出的發光河流。每當河流流經一層，就會被加入更多資訊，變得更加明亮。
觀察這條河流從輸入流向輸出，隨著流經每一層而逐漸變亮。
Stream contents
主詞1.2
實體1.0
時態0.9
情感1.2
attn：彙整脈絡 / mlp：輸出前的收尾. 最後一層整理全局，完成交給下一個詞元預測的表示。