En quoi cette page diffère-t-elle de l’expérience elle-même ?

Cette page localisée sert à la recherche et à l’orientation. L’expérience 3D interactive s’ouvre à l’URL indépendante de la langue.

Quelles langues font l’objet d’une révision officielle ?

Le japonais et l’anglais sont considérés comme le texte à révision officielle de chaque expérience.

Comment les autres langues sont-elles traitées ?

Les autres langues sont affichées comme des traductions automatiques depuis l’original anglais, avec un lien vers l’original.

Large Language Models

Attention des LLM : comment les mots se regardent entre eux

Visualisez l’auto-attention comme des faisceaux de lumière entre les tokens, et ressentez comment softmax(QKᵀ/√d_k) décide quel mot « il » regarde.

Traduction automatique depuis l’original anglais. Ouvrir l’original anglais

Prologue · 1/5

Une constellation de mots

Sept mots flottent en arcs de lumière. À chaque déplacement du point de vue d’un mot à l’autre, l’endroit où ce mot « regarde » dans la phrase apparaît sous forme de faisceau de lumière. Observez d’abord le mouvement et vérifiez que la forme de la lumière change d’un mot à l’autre.

Observez le balayage et repérez la différence entre les mots où la lumière se concentre et ceux où elle se disperse.

softmax(QKᵀ/ √d_k+ mask)·V

Attention weightsit → cat 96%

The1%

cat96%

sat1%

because1%

it3%

was—

tired—