多層パーセプトロン
隠れ層を増やすと決定境界が曲げられるようになる ── h = σ(Wx + b) を重ねて表現力が変わる様子を学習アニメーションで体感します。
多層パーセプトロン(MLP)は、入力に 重み付き和
隠れ層が 0 個(=単純パーセプトロン)なら引けるのは直線の境界だけ。XOR や円・スパイラルのように直線で分けられないデータは失敗します。
隠れ層やニューロンを増やすと、複数の直線を組み合わせて曲がった境界を作れるようになります。学習ボタンで境界が変形していく様子を見てみましょう。
Wx + b を計算し、活性化関数 σ で曲げる処理を何段も重ねたモデルです。隠れ層が 0 個(=単純パーセプトロン)なら引けるのは直線の境界だけ。XOR や円・スパイラルのように直線で分けられないデータは失敗します。
隠れ層やニューロンを増やすと、複数の直線を組み合わせて曲がった境界を作れるようになります。学習ボタンで境界が変形していく様子を見てみましょう。
2
6
0.080
学習ステップ
0
損失 (交差エントロピー)
—
正答率
—
構成(層×幅)
—
ネットワーク構造(2入力 → 隠れ層 → 1出力)
決定境界(背景の色=モデルの予測, ●=学習データ)
いま何が起きている?
ここがポイント
- 隠れ層 0 = 直線の境界だけ ── 単純パーセプトロンは線形分離しかできず、XOR・円・スパイラルでは正答率が頭打ちになる。
- 隠れ層を足すと境界が曲がる ── 各層の
σ(Wx+b)が空間を折り曲げ、複数の直線を合成して曲線・島状の境界を作れる。 - 幅(ニューロン数)も表現力 ── ユニットが多いほど折り目が増え、複雑な形にフィットしやすい(少なすぎると分けきれない)。
- 活性化関数 σ が非線形の源 ── σ を恒等関数にすると何層重ねても結局1枚の直線に等しくなる。曲げているのは σ。