Osserva il flusso residuo come un fiume luminoso da cui ogni livello legge e in cui scrive, con affluenti di attenzione e MLP che aggiungono caratteristiche.
Tradotto automaticamente dall’originale in inglese. Apri l’originale in inglese
Ogni livello di un Transformer non calcola per conto proprio: legge e scrive in un unico flusso condiviso, il residual stream. Qui lo osserviamo come un fiume luminoso che scorre dall’input all’output. Ogni volta che il fiume attraversa un livello, viene aggiunta un po’ più di informazione e diventa più luminoso.
Osserva il fiume scorrere dall’input all’output, illuminandosi mentre attraversa ogni livello.
attn: raccoglie il contesto / mlp: rifinitura prima dell’output. L’ultimo livello riordina l’insieme e completa la rappresentazione consegnata alla predizione del prossimo token.
