k近傍法（k で決定境界が変わる）
近くの k 個の多数決で分類。k を変えると決定境界の滑らかさが変わる。
1
点を追加するクラス（キャンバスをクリック／タッチで追加）
● 訓練データ点
薄い塗り＝決定領域
クエリ点の予測
—
k 近傍の内訳
—
訓練データ数
—
塗り＝各位置を k 近傍多数決で分類した決定領域。● が訓練データ。マウス／指を動かすとクエリ点（黒丸）の k 近傍が線で結ばれ予測クラスが出ます。
k近傍法（k-NN）は、新しい点を「最も近い k 個の訓練データの多数決」で分類する、もっとも単純な教師あり分類です。
モデルを学習（フィット）する工程がなく、訓練データをそのまま覚えておくだけ（=遅延学習）。予測のたびに全データとの距離を測り、近い k 個のラベルで投票します。
キャンバスをクリックして点を足し、k スライダーを動かして決定境界の形が k でどう変わるかを確かめてみましょう。
キャンバスをクリックして点を足し、k スライダーを動かして決定境界の形が k でどう変わるかを確かめてみましょう。
いま何が起きている？
ここがポイント
- 学習しない分類器 ── k-NN はパラメータを推定せず、訓練データを丸ごと保持して予測時に近傍の多数決をとる（遅延学習）。
- k=1 は境界がギザギザ＝過学習ぎみ ── 最近傍 1 点に従うので、ノイズや外れ値に決定境界が引きずられる。
- k を大きくすると境界は滑らか ── 多くの近傍で平均化され安定するが、上げすぎると細部や小さなクラスを取りこぼす（過小適合）。
- 距離尺度に依存 ── ここはユークリッド距離。特徴量のスケールが違うと「近い」の意味が変わるため、本来は標準化が要る。
- k-means（クラスタリング）とは別物 ── あちらは正解ラベルなしで群を見つける教師なし。k-NN はラベル付きデータで分類する教師あり。