単語埋め込み
単語をベクトルにすると、意味の足し算引き算ができる king − man + woman ≈ queen を2D投影で体感します。
意味カテゴリ（平行な矢印群を見る）
類推
A − B + C ≈ ? の3単語を選ぶA（プラス）
B（マイナス）
C（プラス）
ON
類推式
—
最も近い単語（結果）
—
cos 類似度
—
単語ベクトル空間（2D投影）── 矢印 = A−B（赤）と +C（紫）、★ = 計算結果、◎ = 最近傍 ── 単語ドットをドラッグして埋め込み座標を動かせます
深層学習では、単語を数百次元のベクトル（埋め込み, embedding）に変換します。意味が近い単語ほどベクトルも近くなり、さらに
「意味の方向」がベクトルの差として現れるのが面白いところです。
たとえば「男→女」の向きと「王→女王」の向きはほぼ同じ。だから
ここでは本来高次元のベクトルを見やすく2Dに投影しています。A・B・C を選ぶと矢印が描かれ、結果に最も近い単語が◎で光ります。
たとえば「男→女」の向きと「王→女王」の向きはほぼ同じ。だから
king − man + woman ≈ queen というベクトル演算で類推ができます。ここでは本来高次元のベクトルを見やすく2Dに投影しています。A・B・C を選ぶと矢印が描かれ、結果に最も近い単語が◎で光ります。
いま何が起きている？
ここがポイント
- 単語＝ベクトル ── 意味が近い単語は空間内で近くに集まる。
- 差ベクトルが意味の軸 ── 「man→woman」「king→queen」の矢印は平行になる（＝性別の軸）。
- 類推＝足し算引き算 ──
A − B + Cを計算し、最も近い単語を cos類似度で探す。 - 2Dは投影 ── 実際は高次元。投影なので位置はおおまかな再現で、近似（≈）になる。