觀察logits如何透過softmax轉變為機率分布,藉由temperature重新調整形狀,最終收斂為一個取樣出的詞。
由英文原文機器翻譯而成。 開啟英文原文
針對『Once upon a ___』的接續,模型會為詞彙表中的每一個詞產生一個分數(logit)。這裡我們只將排名領先的候選詞排列成一根根光柱,每根光柱的高度就是它的logit值。你可以看到『time』一詞明顯高於其他候選詞。
觀察光柱的高度,找出哪個詞的logit值特別突出。
銳利度(熵)19%。0% 為單一點,100% 為均勻分布。