トークン化（BPE で部分語に分割される過程）
最頻の隣接ペアを繰り返し併合する Byte Pair Encoding で、文字単位から部分語・単語単位へ語彙が育つ様子を可視化します。
—
0
適用したマージ数
—
語彙サイズ
—
現在のトークン数
—
圧縮率（記号/トークン）
—
マージ規則（適用順）
現在の分割（単語ごとのトークン列）
BPE（Byte Pair Encoding）は、最初すべてを文字（と語末記号
たとえば
マージ回数が少ないと文字単位、多いと単語単位に近づき、珍しい語は学習済みの部分語に割れて表現されます。 スライダーやボタンでマージ回数を変え、語彙と分割がどう育つか確かめましょう。
·）に分け、
そこから「いま最も多く隣り合っているペア」を1つの新しいトークンに併合する操作を繰り返して語彙を作ります。たとえば
l o w の l+o → lo、続けて lo+w → low のように、よく出る並びほど早く1トークンにまとまります。マージ回数が少ないと文字単位、多いと単語単位に近づき、珍しい語は学習済みの部分語に割れて表現されます。 スライダーやボタンでマージ回数を変え、語彙と分割がどう育つか確かめましょう。
いま何が起きている？
ここがポイント
- 毎回いちばん多い隣接ペアを併合 ── 出現回数を数え、最頻ペアを1トークンに統合する貪欲法。
- 回数が粒度を決める ── 少なければ文字単位、多ければ単語単位に近づく（語彙サイズと引き換え）。
- 未知語・珍しい語も表現できる ── 学習済みの部分語の組み合わせに分解されるので語彙外に落ちにくい。
- 圧縮とのトレードオフ ── マージを増やすほどトークン列は短くなるが、語彙は大きくなる。