Large Language Models

词嵌入:将含义化为坐标

将词嵌入探索为一片3D星云:相邻的点代表含义相近的词,而king − man + woman ≈ queen会显现为一个方向。

由英文原文机器翻译。 打开英文原文

Prologue · 1/4

意义的星云

在模型内部,每个词都会变成一个拥有数千维度的向量。在这里,我们把它投影到三维空间中,将其视作一片星云来观察。每一个光点代表一个词,两点相距越近,它们的意义就越相近。慢慢转动它,感受词语散布其中的这片空间。

转动这片星云,留意光点如何聚集成几个簇团。

NeighborhoodAnimals

種と成体/幼体の軸。dog/cat/puppy/kitten が並びます。

词嵌入:将含义化为坐标 - Luneidea