エントロピー：偏るほど縮められる
記号の確率分布を変えると、シャノンエントロピー H = −Σ pᵢ log₂ pᵢ が即再計算されます。1記号あたりの平均ビット数の下限を体感しましょう。
0.250
0.250
0.250
0.250
A・B・C を動かすと、合計が 1 になるよう D が自動で残りを引き受けます（A+B+C が 1 を超える分は比例で詰めます）。
エントロピー H
—
最大値 log₂4
2.000 bit
100記号の最小サイズ
—
圧縮率（対 2bit固定）
—
記号の確率分布（高さ = pᵢ）
偏り（最大確率）とエントロピー H
ある情報源が 4 種類の記号 A・B・C・D を出すとき、各記号の出やすさ（確率 pᵢ）が分かれば、
1 記号を平均何ビットで表せるかの理論的な下限が決まります。これがシャノンエントロピー
確率が一様（すべて 1/4）のとき H は最大の
確率が偏るほど H は小さくなり、可逆圧縮でより短く表せます。極端に 1 記号へ偏れば H は 0 に近づき、ほとんど情報がない（＝ほぼ圧縮しきれる）状態になります。
H = −Σ pᵢ log₂ pᵢ です。確率が一様（すべて 1/4）のとき H は最大の
log₂4 = 2 bit。1 記号 2 ビットより縮められません。確率が偏るほど H は小さくなり、可逆圧縮でより短く表せます。極端に 1 記号へ偏れば H は 0 に近づき、ほとんど情報がない（＝ほぼ圧縮しきれる）状態になります。
いま何が起きている？
ここがポイント
- H = −Σ pᵢ log₂ pᵢ ── 1記号あたりの平均ビット数の下限（可逆圧縮の限界）。
- 一様分布で最大 ── 記号が n 種なら H = log₂n（4種なら 2 bit）。これ以上は縮められない。
- 偏るほど H は小さく ── よく出る記号に短い符号を割り当てれば平均長を減らせる（ハフマン等の発想）。
- 1記号に確率が集中すると H → 0 ── 「次に何が来るか分かっている」＝情報量がほぼゼロ。