ナイーブベイズ(確率で分類)
各クラスの確率分布から、事前 × 尤度 で事後確率の高いクラスへ分類。決定境界は 2 つの事後確率(事前 × 尤度)が等しくなる曲線です。
0.50
クラスA(赤)のガウス分布
-1.6
-1.0
1.4
1.4
クラスB(青)のガウス分布
1.7
1.1
1.0
2.2
テスト点をクリックして分類してみよう
テスト点 (x, y)
—
予測クラス
—
事後 P(A | x)
—
事後 P(B | x)
—
事後確率(正規化済み・合計 100%)
背景の曲線=各クラスのガウス等高線。太い黒の曲線=決定境界(事後が等しい場所)。×=平均(ドラッグで移動可)。クリックでテスト点を置く。
ナイーブベイズは、各クラスのデータがどんな確率分布から生まれるかをモデル化して分類する手法です。ここでは 2 次元・2 クラスで、各クラスをガウス分布で表します。
分類の核はベイズの定理。点 x がクラス c に属する事後確率は
「ナイーブ(素朴)」とは、特徴 x と y が互いに独立と仮定し、尤度を
分類の核はベイズの定理。点 x がクラス c に属する事後確率は
P(c | x) ∝ P(c) × P(x | c)、つまり事前確率 × 尤度に比例します。両クラスでこれを計算し、大きい方へ分類します。「ナイーブ(素朴)」とは、特徴 x と y が互いに独立と仮定し、尤度を
P(x|c)·P(y|c) と掛け算で済ませること。スライダーで平均・分散・事前確率を変え、決定境界がどう動くか確かめましょう。
いま何が起きている?
ここがポイント
- 事後 ∝ 事前 × 尤度 ── ベイズの定理。
P(c|x) = P(c)P(x|c) / Σ。分母は両クラス共通なので、分子の大小だけで勝負が決まる。 - 「ナイーブ」=特徴が独立と仮定 ── 尤度を
P(x|c)·P(y|c)と各特徴のガウスの掛け算にする。等高線が軸に平行な楕円になるのはこの仮定のため。 - 決定境界は 2 つの密度が交わる場所 ──
P(A)P(x|A) = P(B)P(x|B)を満たす曲線。分散が等しければ直線、違えば曲線(二次曲線)になる。 - 事前確率を変えると境界が動く ── P(A) を上げると境界はクラスB側へ寄り、A の縄張りが広がる。データが無くても事前の信念が効く。