logits가 softmax를 거쳐 확률 분포가 되고, 온도로 모양이 바뀌며, 하나의 단어로 샘플링되어 모이는 과정을 지켜보세요.
영어 원문에서 기계 번역되었어요. 영어 원문 열기
「Once upon a ___」의 다음 단어를 예측할 때, 모델은 어휘 목록에 있는 모든 단어에 점수(logits)를 매겨요. 여기서는 상위 후보만 빛의 기둥으로 줄지어 세워요. 기둥의 높이가 곧 logits이에요. 「time」이 다른 단어들보다 두드러지게 서 있는 것이 보여요.
기둥의 높이를 보고 어떤 단어의 logits이 두드러지는지 찾아보세요.
날카로움(엔트로피) 19%. 0%는 단일 지점, 100%는 균등 분포예요.
