셀프 어텐션을 토큰 사이를 오가는 빛줄기로 시각화하고, softmax(QKᵀ/√dk)가 “it”이 어떤 단어를 바라보는지 정하는 과정을 느껴보세요.
영어 원문에서 기계 번역되었어요. 영어 원문 열기
일곱 개의 단어가 빛의 호를 그리며 떠 있어요. 시점이 단어에서 단어로 옮겨갈 때마다, 그 단어가 문장 안에서 어디를 “보고” 있는지가 빛의 다발로 나타나요. 먼저 흐름을 지켜보면서 단어마다 빛의 모양이 달라지는지 확인해 보세요.
스윕을 지켜보면서 빛이 모이는 단어와 흩어지는 단어의 차이를 찾아보세요.
