Se hur logits blir en sannolikhetsfördelning genom softmax, omformas med temperatur och kollapsar till ett enda samplat ord.
Maskinöversatt från den engelska originaltexten. Öppna engelska originalet
För fortsättningen på "Once upon a ___" producerar modellen en poäng (en logit) för varje ord i sitt vokabulär. Här ställer vi upp bara de ledande kandidaterna som pelare av ljus. Varje pelares höjd är dess logit. Du kan se att "time" sticker ut framför resten.
Titta på pelarnas höjder och hitta vilket ords logit som sticker ut.
Skärpa (entropi) 19%. 0% är en enda punkt, 100% är en jämn fördelning.
