損失関数（MSE と交差エントロピー）
予測がどれだけ外れているかを 1 つの数にする「損失」を、回帰の MSE と分類の 交差エントロピー で体感します。
5.5
左の図の赤い予測点を上下にドラッグしても動かせます。残差² の面積バーが伸び縮みします。
正解 y
—
予測 ŷ
—
残差 (ŷ − y)
—
損失 (ŷ − y)²
—
残差²（誤差の面積）
損失曲線（予測と損失の関係）
損失関数は、モデルの予測が正解からどれだけ外れているかを 1 つの数（小さいほど良い）で表します。学習とは、この損失を下げる方向にパラメータを調整することです。
回帰では予測値と正解値の差を二乗した MSE（平均二乗誤差）
分類では 交差エントロピー
回帰では予測値と正解値の差を二乗した MSE（平均二乗誤差）
(ŷ − y)² をよく使います。差が大きいほど二乗で急激に罰せられます。分類では 交差エントロピー
−log(p) を使います。p は「正解クラスにモデルが割り当てた確率」で、p が 1 なら損失 0、p が 0 に近づくと損失は無限大へ。形の違いを左右の図で見比べましょう。
いま何が起きている？
ここがポイント
- 損失は「外れ具合」を 1 つの数にする ── 0 が完璧、大きいほど悪い。学習はこれを最小化する。
- MSE は放物線 ── 残差を二乗するので、外れが大きいほど二乗で急に重くなる（左右対称・滑らか）。
- 交差エントロピー −log(p) は片側で発散 ── 正解確率 p=1 で損失 0、p→0 で損失 →∞。自信を持って間違えると激しく罰せられる。
- 用途が違う ── 連続値の予測（回帰）には MSE、クラス確率の予測（分類）には交差エントロピーが標準。