Observez les logits se transformer en distribution de probabilité via softmax, se remodeler avec la température, et s’effondrer en un seul mot échantillonné.
Traduction automatique depuis l’original anglais. Ouvrir l’original anglais
Pour la suite de « Once upon a ___ », le modèle produit un score (un logit) pour chaque mot de son vocabulaire. Ici, nous alignons uniquement les meilleurs candidats en piliers de lumière. La hauteur de chaque pilier est son logit. Vous pouvez voir « time » se détacher nettement des autres.
Observez la hauteur des piliers et repérez le mot dont le logit se détache.
Netteté (entropie) 19%. 0% est un point unique, 100% est une distribution uniforme.
