Öz-dikkati (self-attention) token’lar arasındaki ışık huzmeleri olarak görselleştirin ve softmax(QKᵀ/√dk)’nın "it" kelimesinin hangi kelimeye baktığına nasıl karar verdiğini hissedin.
İngilizce orijinalinden makine çevirisidir. İngilizce orijinalini aç
Yedi kelime, ışık yayları halinde süzülür. Bakış açısı kelimeden kelimeye her geçtiğinde, o kelimenin cümle içinde nereye “baktığı” bir ışık demeti olarak belirir. Önce akışı izleyin ve ışığın şeklinin kelimeden kelimeye değiştiğini doğrulayın.
Taramayı izleyin ve ışığın yoğunlaştığı kelimelerle dağıldığı kelimeler arasındaki farkı bulun.
