Bekijk de residuele stroom als een gloeiende rivier waar elke laag uit leest en naar schrijft, met attentie- en MLP-zijrivieren die kenmerken toevoegen.
Machinaal vertaald vanuit het Engelse origineel. Open Engels origineel
Elke laag van een Transformer rekent niet op zichzelf — ze leest van en schrijft naar één gedeelde stroom, de residual stream. Hier bekijken we die als een gloeiende rivier die van input naar output loopt. Elke keer dat de rivier door een laag stroomt, wordt er iets meer informatie toegevoegd en wordt ze helderder.
Bekijk hoe de rivier van input naar output stroomt en steeds helderder wordt bij elke laag die ze passeert.
attn: verzamel de context / mlp: afwerking voor de uitvoer. De laatste laag rondt het geheel af en voltooit de representatie die wordt doorgegeven aan de voorspelling van het volgende token.
