Hình dung self-attention như những tia sáng giữa các token và cảm nhận cách softmax(QKᵀ/√dk) quyết định từ nào mà "it" đang nhìn vào.
Được dịch máy từ bản gốc tiếng Anh. Mở bản gốc tiếng Anh
Bảy từ trôi nổi như những vòng cung ánh sáng. Mỗi khi điểm nhìn di chuyển từ từ này sang từ khác, nơi từ đó đang “nhìn” trong câu sẽ hiện ra thành một chùm ánh sáng. Trước tiên, hãy quan sát dòng chảy và xác nhận rằng hình dạng của ánh sáng thay đổi theo từng từ.
Hãy quan sát lượt quét và tìm ra sự khác biệt giữa những từ nơi ánh sáng tập trung và những từ nơi nó phân tán.
