混合ガウスとEM（ソフト割り当て）
データを複数のガウス分布の混合と見て、EM 反復で当てはめる。
3
反復回数
0
対数尤度 logL
—
直前との差 ΔlogL
—
次のステップ
E
点の色 = 責任度による混色（複数クラスタにまたがる点は中間色）。楕円 = 各成分の共分散（1σ・2σ）、×印 = 平均（ドラッグで初期位置を変更できます）。
混合ガウスモデル（GMM）は、データが K 個のガウス分布の重ね合わせから生まれたと考えるモデルです。
各点がどの成分から来たかは分からないので、EM アルゴリズムで「割り当て」と「分布の形」を交互に推定します。
E ステップでは各点が各成分に属する確率（責任度 γ）を計算し、M ステップでは γ で重み付けして各成分の平均・共分散・混合重みを更新します。 「1 ステップ」で E と M を交互に片方ずつ進め、「再生」で収束まで自動反復します。点の色と楕円が動き、対数尤度が単調に増えていく様子を確かめましょう。
E ステップでは各点が各成分に属する確率（責任度 γ）を計算し、M ステップでは γ で重み付けして各成分の平均・共分散・混合重みを更新します。 「1 ステップ」で E と M を交互に片方ずつ進め、「再生」で収束まで自動反復します。点の色と楕円が動き、対数尤度が単調に増えていく様子を確かめましょう。
いま何が起きている？
ここがポイント
- ソフト割り当て ── 各点を 1 つのクラスタに決めず、「成分 1 に 0.7、成分 2 に 0.3」のように確率（責任度）で複数クラスタに所属させる。色の混ざり具合がそれを表す。
- E と M の交互反復 ── E ステップは責任度を求め、M ステップはその責任度でパラメータ（平均・共分散・混合重み）を更新する。これを繰り返す。
- 対数尤度は単調増加して収束 ── EM は反復ごとにデータの対数尤度を必ず増やす（減らさない）。ΔlogL が 0 に近づいたら収束。
- 共分散で楕円クラスタも表現 ── k-means が球状（ハード割り当て）なのに対し、GMM は共分散行列を持つので細長い・傾いた楕円のクラスタも当てはめられる。GMM は k-means の一般化。