Hur skiljer sig den här sidan från själva upplevelsen?

Den här lokaliserade sidan är till för sökning och orientering. Den interaktiva 3D-upplevelsen öppnas på den språkneutrala webbadressen.

Vilka språk är officiellt granskade?

Japanska och engelska behandlas som den officiellt granskade texten för varje utforskning.

Hur hanteras andra språk?

Andra språk visas som maskinöversättningar från den engelska källan, med en länk tillbaka till originalet.

Large Language Models

LLM-uppmärksamhet: Hur ord ser på ord

Visualisera självuppmärksamhet som ljusstrålar mellan tokens och känn hur softmax(QKᵀ/√d_k) avgör vilket ord ”it” tittar på.

Maskinöversatt från den engelska originaltexten. Öppna engelska originalet

Prologue · 1/5

En konstellation av ord

Sju ord svävar som ljusbågar. Varje gång betraktningspunkten flyttas från ord till ord visas det, i form av ett ljusknippe, var det ordet ”tittar” i meningen. Titta först på flödet och bekräfta att ljusets form förändras från ord till ord.

Titta på svepet och hitta skillnaden mellan ord där ljuset koncentreras och ord där det sprids ut.

softmax(QKᵀ/ √d_k+ mask)·V

Attention weightsit → cat 96%

The1%

cat96%

sat1%

because1%

it3%

was—

tired—