มอง residual stream เป็นแม่น้ำเรืองแสงที่ทุกเลเยอร์อ่านและเขียนลงไป โดยมีลำน้ำสาขา attention และ MLP เติมฟีเจอร์เข้ามา
แปลด้วยเครื่องจากต้นฉบับภาษาอังกฤษ เปิดต้นฉบับภาษาอังกฤษ
แต่ละเลเยอร์ของ Transformer ไม่ได้คำนวณอย่างโดดเดี่ยว — มันอ่านจากและเขียนลงกระแสร่วมสายเดียว คือ residual stream ที่นี่เราจะดูมันในฐานะแม่น้ำเรืองแสงที่ไหลจากอินพุตไปยังเอาต์พุต ทุกครั้งที่แม่น้ำไหลผ่านเลเยอร์หนึ่ง ข้อมูลอีกเล็กน้อยจะถูกเติมเข้าไป และมันก็เรืองแสงสว่างขึ้น
ดูแม่น้ำไหลจากอินพุตไปยังเอาต์พุต สว่างขึ้นเรื่อยๆ ขณะไหลผ่านแต่ละเลเยอร์
attn: รวบรวมบริบท / mlp: ขัดเกลาก่อนส่งออก. เลเยอร์สุดท้ายจัดระเบียบทั้งหมด และปรับแต่งขั้นสุดท้ายก่อนส่งต่อไปยังการทำนายโทเคนถัดไป
