Визуализируйте self-attention как лучи света между токенами и почувствуйте, как softmax(QKᵀ/√dk) определяет, на какое слово смотрит «оно».
Машинный перевод с английского оригинала. Открыть английский оригинал
Семь слов парят дугами света. Каждый раз, когда точка обзора переходит от слова к слову, то, куда это слово «смотрит» в предложении, проявляется пучком света. Сначала понаблюдайте за потоком и убедитесь, что форма света меняется от слова к слову.
Понаблюдайте за развёрткой и найдите разницу между словами, где свет концентрируется, и словами, где он рассеивается.
