Zwizualizuj self-attention jako wiązki światła między tokenami i poczuj, jak softmax(QKᵀ/√dk) decyduje, na które słowo patrzy „it”.
Przetłumaczone maszynowo z oryginału w języku angielskim. Otwórz oryginał w języku angielskim
Siedem słów unosi się jako łuki światła. Za każdym razem, gdy punkt widzenia przesuwa się od słowa do słowa, miejsce, na które dane słowo „patrzy” w zdaniu, pojawia się jako wiązka światła. Najpierw obserwuj przepływ i upewnij się, że kształt światła zmienia się od słowa do słowa.
Obserwuj przebieg i znajdź różnicę między słowami, w których światło się skupia, a słowami, w których się rozprasza.
