Wie unterscheidet sich diese Seite vom Erlebnis selbst?

Diese lokalisierte Seite dient der Suche und Orientierung. Das interaktive 3D-Erlebnis öffnet sich unter der sprachneutralen URL.

Welche Sprachen sind offiziell geprüft?

Japanisch und Englisch gelten für jedes Erlebnis als offiziell geprüfter Text.

Wie werden andere Sprachen behandelt?

Andere Sprachen werden als maschinelle Übersetzung aus dem englischen Original angezeigt, mit einem Link zurück zum Original.

Large Language Models

LLM-Attention: Wie Wörter auf Wörter schauen

Visualisieren Sie Self-Attention als Lichtstrahlen zwischen Tokens und spüren Sie, wie softmax(QKᵀ/√d_k) entscheidet, welches Wort „it“ anschaut.

Maschinell aus dem englischen Original übersetzt. Englisches Original öffnen

Prologue · 1/5

Ein Sternbild aus Wörtern

Sieben Wörter schweben als Lichtbögen. Jedes Mal, wenn der Blickpunkt von Wort zu Wort wandert, erscheint als Lichtbündel, wohin dieses Wort im Satz „blickt“. Beobachte zunächst den Fluss und bestätige, dass sich die Form des Lichts von Wort zu Wort verändert.

Verfolge den Schwenk und finde den Unterschied zwischen Wörtern, bei denen sich das Licht bündelt, und solchen, bei denen es sich zerstreut.

softmax(QKᵀ/ √d_k+ mask)·V

Attention weightsit → cat 96%

The1%

cat96%

sat1%

because1%

it3%

was—

tired—