Visualiseer self-attention als lichtstralen tussen tokens en ervaar hoe softmax(QKᵀ/√dk) bepaalt naar welk woord "het" kijkt.
Machinaal vertaald vanuit het Engelse origineel. Open Engels origineel
Zeven woorden zweven als bogen van licht. Telkens wanneer het gezichtspunt van woord naar woord verschuift, verschijnt waar dat woord in de zin naartoe „kijkt” als een bundel licht. Kijk eerst naar de stroom en bevestig dat de vorm van het licht van woord tot woord verandert.
Bekijk de beweging en zoek het verschil tussen woorden waar het licht zich concentreert en woorden waar het uiteenvalt.
