Lihat aliran residual sebagai sungai yang bercahaya, tempat setiap lapisan membaca dan menulis, dengan anak sungai attention dan MLP yang menambahkan fitur.
Diterjemahkan otomatis dari naskah asli berbahasa Inggris. Buka naskah asli berbahasa Inggris
Setiap lapisan Transformer tidak menghitung sendiri — ia membaca dari dan menulis ke satu aliran bersama, residual stream. Di sini kita mengamatinya sebagai sungai bercahaya yang mengalir dari input ke output. Setiap kali sungai ini melewati sebuah lapisan, sedikit informasi ditambahkan dan sungai itu menjadi semakin terang.
Amati sungai mengalir dari input ke output, semakin terang setiap kali melewati sebuah lapisan.
attn: kumpulkan konteks / mlp: penyelesaian sebelum keluaran. Lapisan terakhir merapikan keseluruhan dan menyelesaikan representasi yang diserahkan ke prediksi token berikutnya.
