观察logits通过softmax转化为概率分布,随温度参数改变形态,并坍缩为一个采样得出的词。
由英文原文机器翻译。 打开英文原文
对于“Once upon a ___”的续写,模型会为词表中的每个词生成一个分数(logit)。这里我们只把排名靠前的候选词排列成一根根光柱。每根光柱的高度就是它的 logit。你可以看到“time”明显高出其他词。
观察光柱的高度,找出哪个词的 logit 最突出。
锐利度(熵)19%。0% 为单点分布,100% 为均匀分布。