Visualiza la autoatención como haces de luz entre tokens y siente cómo softmax(QKᵀ/√dk) decide a qué palabra está mirando "it".
Traducido automáticamente del original en inglés. Abrir original en inglés
Siete palabras flotan como arcos de luz. Cada vez que el punto de vista se mueve de una palabra a otra, hacia dónde está "mirando" esa palabra en la oración aparece como un haz de luz. Primero observa el flujo y confirma que la forma de la luz cambia de una palabra a otra.
Observa el barrido y encuentra la diferencia entre las palabras donde la luz se concentra y las palabras donde se dispersa.
