Наблюдайте, как logits превращаются в распределение вероятностей через softmax, меняют форму под действием температуры и схлопываются до одного выбранного слова.
Машинный перевод с английского оригинала. Открыть английский оригинал
Для продолжения фразы «Once upon a ___» модель выдаёт оценку (logit) для каждого слова в своём словаре. Здесь мы выстраиваем в ряд только ведущих кандидатов в виде столбов света. Высота каждого столба — это его logit. Видно, что слово «time» выделяется среди остальных.
Посмотрите на высоты столбов и найдите слово, чей logit выделяется.
Резкость (энтропия) 19%. 0% — это единственная точка, 100% — равномерное распределение.
