Residual Stream: 層をつなぐ川

何を探索できるか

Residual Stream: 層をつなぐ川を、3Dモデル、問い、操作パネルを通じて探索する導入ページです。

操作できる要素

構造、変化、注目点を切り替えながら、見える形と背景にあるしくみをつなげます。

発見ステージ進行 / レイヤー切替 / attention寄与の切替 / MLP寄与の切替

検索キーワード

Residual Stream: 層をつなぐ川、残差ストリーム、attention 支流、MLP 支流、残差接続

一本の共有された流れ

Transformerの各層は孤立して計算するのではなく、残差ストリームという一本の共有された流れを読み書きします。入力の埋め込みから始まり、層を通るたびに少しずつ情報が足され、出力へ向かって流れていきます。

支流が書き込む

各層には attention と MLP という2つの支流があり、それぞれがストリームへ寄与を書き込みます。attentionはトークン間で情報を交換し、MLPは各位置で特徴を変換します。主語・固有物・時制・感情といった特徴が、層を進むごとに書き加えられます。

読み出してから書き足す

残差接続のおかげで、出力は「入力＋各層の寄与」という形になります。後段の層は前段が書いた情報をそのまま読み出せるので、深いモデルでも情報を失いません。これは勾配が層を越えて流れやすくなる点でも重要です。

このページと体験本体の違いは？

このページは検索と導入のための言語別ページです。3D操作は無印の体験URLで開きます。

公式監修の言語は？

教材本文は日本語と英語を公式監修版として扱います。

他の言語はどう扱われますか？

英語原文からの機械翻訳として表示し、原文へのリンクを添えます。

エニグマ暗号機のしくみ

キー入力がプラグボード、ローター、反射板を通って別の文字になる過程を、3Dモデルと信号トレースで追体験します。

Turing-Welchman Bombe: Historical Prelude

Bletchley ParkでEnigma暗号解読を支えたTuring-Welchman Bombeを、抽象的な計算モデルへ入る前の歴史的Preludeとして観察します。

Turing Machine: Concept Machine

実機再現ではなく Concept Machine として、テープ、読み書きヘッド、状態遷移ルールだけで1命令が進むしくみを体験します。