相互情報量：どれだけ分かるか
2変数の同時分布グリッドをクリックして編集すると、相互情報量 I(X;Y) が即座に再計算されます。「X を知ると Y がどれだけ分かるか」を体感しましょう。
4 × 4
4
左下のグリッドのマスをクリック（ドラッグ）すると、そのマスに確率の「重み」が積まれます。右クリックで減らせます。
相互情報量 I(X;Y)
—
エントロピー H(X)
—
エントロピー H(Y)
—
同時エントロピー H(X,Y)
—
同時分布 p(x,y)（クリックで編集）
各マスの p(x,y) と「独立なら」p(x)p(y)（差が大きいほど相互情報量に効く）
相互情報量 I(X;Y) は「片方の変数を知ると、もう片方についての不確かさがどれだけ減るか」を測る量です（単位は bit）。
定義は
相関係数（covariance ベースの指標）は「直線的な関係」しか捉えませんが、相互情報量はあらゆる依存関係を捉えるのが違いです。
定義は
I(X;Y) = Σ p(x,y) · log₂( p(x,y) / (p(x)·p(y)) )。
X と Y が独立なら、どのマスでも p(x,y) = p(x)p(y) なので各項が 0 になり I = 0。
マスが対角線などに偏って強く関係するほど I は大きくなります。相関係数（covariance ベースの指標）は「直線的な関係」しか捉えませんが、相互情報量はあらゆる依存関係を捉えるのが違いです。
いま何が起きている？
ここがポイント
- 独立なら I = 0 ── 各マスが周辺確率の積 p(x)p(y) と一致すると、知っても何も得しない。
- 関係が強いほど I は大きい ── 対角に集中＝X を知れば Y がほぼ確定し、不確かさが大きく減る。
- I = H(X) + H(Y) − H(X,Y) ── 個々の不確かさの和から同時の不確かさを引いた「重なり」が相互情報量。
- 相関係数とは別物 ── 市松模様のように相関係数が 0 になる非線形な依存でも I は反応する。covariance は方向のある直線関係のみ。