Beobachten Sie, wie Logits durch Softmax zu einer Wahrscheinlichkeitsverteilung werden, durch Temperature umgeformt werden und zu einem einzelnen ausgewählten Wort kollabieren.
Maschinell aus dem englischen Original übersetzt. Englisches Original öffnen
Für die Fortsetzung von „Once upon a ___“ erzeugt das Modell einen Punktwert (einen Logit) für jedes Wort seines Vokabulars. Hier reihen wir nur die führenden Kandidaten als Lichtsäulen auf. Die Höhe jeder Säule ist ihr Logit. Du siehst, wie „time“ deutlich über den Rest hinausragt.
Sieh dir die Höhen der Säulen an und finde heraus, welches Wort mit seinem Logit heraussticht.
Schärfe (Entropie) 19%. 0% ist ein einzelner Punkt, 100% ist eine Gleichverteilung.
