将自注意力可视化为词元之间的光束,感受softmax(QKᵀ/√dk)如何决定“it”正注视着哪个词。
由英文原文机器翻译。 打开英文原文
七个词语如光弧般漂浮。每当视点从一个词移向另一个词,该词在句子中“注视”的方向便会显现为一束光。先观察这股流动,确认光的形状随词语而变化。
观察扫视过程,找出光线集中的词语与光线分散的词语之间的差异。