Next-token: ことばが生まれる瞬間

何を探索できるか

Next-token: ことばが生まれる瞬間を、3Dモデル、問い、操作パネルを通じて探索する導入ページです。

操作できる要素

構造、変化、注目点を切り替えながら、見える形と背景にあるしくみをつなげます。

発見ステージ進行 / Temperature変更 / サンプリング / 分布の観察

検索キーワード

Next-token: ことばが生まれる瞬間、Logits、Softmax、Temperature、Sampling

次の語への点数

モデルは文脈を受け取ると、語彙のすべての語に点数（logit）を出します。"Once upon a ___" の続きなら "time" が突出します。この点数はまだ確率ではなく、大小を比べるための生のスコアです。

softmaxで確率に変える

logitsをsoftmaxに通すと、すべて0以上で合計1の確率分布になります。点数の差が指数的に強調されるため、有力な語の確率が一気に高くなり、ひとつの峰が立ち上がります。

温度で山の形を変える

Temperatureはsoftmaxの鋭さを変えます。下げるほど一点に尖って安定し、上げるほど平らになって多様な語が選ばれやすくなります。創造性と一貫性のトレードオフがここに現れます。

このページと体験本体の違いは？

このページは検索と導入のための言語別ページです。3D操作は無印の体験URLで開きます。

公式監修の言語は？

教材本文は日本語と英語を公式監修版として扱います。

他の言語はどう扱われますか？

英語原文からの機械翻訳として表示し、原文へのリンクを添えます。

エニグマ暗号機のしくみ

キー入力がプラグボード、ローター、反射板を通って別の文字になる過程を、3Dモデルと信号トレースで追体験します。

Turing-Welchman Bombe: Historical Prelude

Bletchley ParkでEnigma暗号解読を支えたTuring-Welchman Bombeを、抽象的な計算モデルへ入る前の歴史的Preludeとして観察します。

Turing Machine: Concept Machine

実機再現ではなく Concept Machine として、テープ、読み書きヘッド、状態遷移ルールだけで1命令が進むしくみを体験します。