सेल्फ-अटेंशन को टोकनों के बीच प्रकाश की किरणों के रूप में देखें और महसूस करें कि softmax(QKᵀ/√dk) कैसे तय करता है कि "it" किस शब्द को देख रहा है।
अंग्रेज़ी मूल से मशीन-अनुवादित। अंग्रेज़ी मूल खोलें
सात शब्द रोशनी के चापों की तरह तैरते हैं। जब भी दृष्टिकोण एक शब्द से दूसरे शब्द पर जाता है, वह शब्द वाक्य में कहाँ “देख” रहा है, यह रोशनी के एक बंडल के रूप में दिखाई देता है। पहले इस प्रवाह को देखें और पुष्टि करें कि रोशनी का आकार हर शब्द के साथ कैसे बदलता है।
इस झलक को देखें और उन शब्दों के बीच का अंतर खोजें जहाँ रोशनी सिमटती है और जहाँ वह बिखर जाती है।