Se residualströmmen som en glödande flod som varje lager läser från och skriver till, där bifloder av uppmärksamhet och MLP lägger till särdrag.
Maskinöversatt från den engelska originaltexten. Öppna engelska originalet
Varje lager i en Transformer beräknar inte på egen hand — det läser från och skriver till ett gemensamt flöde, residualflödet. Här betraktar vi det som en glödande flod som rinner från indata till utdata. Varje gång floden passerar ett lager tillförs lite mer information, och den blir ljusare.
Följ floden när den rinner från indata till utdata och blir ljusare för varje lager den passerar.
attn: samla kontexten / mlp: sista finputsningen före utdata. Det sista lagret städar upp helheten och färdigställer representationen som lämnas vidare till förutsägelsen av nästa token.
