Visualize a self-attention como feixes de luz entre tokens e sinta como softmax(QKᵀ/√dk) decide para qual palavra "it" está olhando.
Traduzido automaticamente a partir do original em inglês. Abrir original em inglês
Sete palavras flutuam como arcos de luz. A cada vez que o ponto de vista se move de palavra em palavra, para onde essa palavra está “olhando” na frase aparece como um feixe de luz. Primeiro observe o fluxo e confirme que a forma da luz muda de palavra para palavra.
Observe a varredura e encontre a diferença entre as palavras onde a luz se concentra e as palavras onde ela se dispersa.
