將自注意力視覺化為token之間的光束,感受softmax(QKᵀ/√dk)如何決定「it」正看向哪個詞。
由英文原文機器翻譯而成。 開啟英文原文
七個詞語如光弧般漂浮。每當視角從一個詞移向另一個詞,該詞在句子中「注視」的方向,便會顯現為一束光。請先觀察這股流動,確認光的形狀隨詞語而變化。
觀察掃視的過程,找出光線集中的詞語與光線分散的詞語之間的差異。