モデルが次の一語を選ぶまでを、logits → softmax → 確率分布 → サンプリングの流れとして探索します。温度で山が尖ったり平らになったりし、サンプルの瞬間に分布が一語へ崩れ落ちます。
モデルは "Once upon a ___" の続きとして、語彙のすべての語に点数(logit)を出します。ここでは代表的な候補だけを光の柱として並べました。柱の高さがそのままlogitの大きさです。"time" が飛び抜けているのが見えます。
柱の高さを眺めて、どの語のlogitが突出しているかを見つける。
鋭さ(エントロピー)19%。0%なら一点、100%なら一様分布です。