Large Language Models

Word Embeddings: Meaning as Coordinates

Explore word embeddings as a 3D nebula where nearby points mean similar words and king − man + woman ≈ queen appears as a direction.

Prologue · 1/4

意味の星雲

言葉はモデルの中で、数千次元のベクトルになります。ここではそれを3Dへ射影した星雲として眺めます。一つひとつの光点が語で、近い光点ほど意味が似ています。まずはゆっくり回しながら、語が散らばる空間の手触りをつかんでください。

星雲を回して、光点がいくつかの塊に分かれていることを見つける。

NeighborhoodAnimals

種と成体/幼体の軸。dog/cat/puppy/kitten が並びます。

Word Embeddings: Meaning as Coordinates - Luneidea