Sehen Sie den Residual Stream als leuchtenden Fluss, aus dem jede Schicht liest und in den sie schreibt, wobei Attention- und MLP-Zuflüsse Merkmale hinzufügen.
Maschinell aus dem englischen Original übersetzt. Englisches Original öffnen
Jede Schicht eines Transformers rechnet nicht für sich allein – sie liest aus einem gemeinsamen Strom und schreibt in ihn zurück, den residualen Strom. Hier beobachten wir ihn als leuchtenden Fluss, der vom Eingang zum Ausgang fließt. Jedes Mal, wenn der Fluss eine Schicht durchquert, kommt ein wenig mehr Information hinzu, und er leuchtet heller.
Beobachte, wie der Fluss vom Eingang zum Ausgang strömt und bei jeder durchquerten Schicht heller wird.
attn: den Kontext sammeln / mlp: letzter Schliff vor der Ausgabe. Die letzte Schicht ordnet das Ganze und vollendet die Darstellung, die an die Vorhersage des nächsten Tokens übergeben wird.
