Bekijk hoe logits via softmax een kansverdeling worden, van vorm veranderen met temperatuur, en instorten tot één bemonsterd woord.
Machinaal vertaald vanuit het Engelse origineel. Open Engels origineel
Voor het vervolg van “Once upon a ___” genereert het model een score (een logit) voor elk woord in zijn vocabulaire. Hier zetten we alleen de belangrijkste kandidaten op een rij als zuilen van licht. De hoogte van elke zuil is zijn logit. Je ziet dat “time” boven de rest uitsteekt.
Bekijk de hoogtes van de zuilen en vind welk woord met zijn logit boven de rest uitsteekt.
Scherpte (entropie) 19%. 0% is een enkel punt, 100% is een uniforme verdeling.
