最終更新日:2026年9月24日
gk metrics probability
まず結論
KLダイバージェンス(Kullback-Leibler Divergence)は、2つの確率分布の違いを表す量です。
代表的な性質は、
- 0以上
- PとQが同じなら0
- 非対称
- 距離ではない
です。
直感的な説明
真の分布Pを、近似分布Qで表そうとしたとき、
QはPからどれくらいずれているか?
を見るイメージです。
向きを逆にすると一般に値が変わります。
定義・仕組み
離散分布では、
D_KL(P || Q) = Σ P(x) log(P(x) / Q(x))
と表します。
重要なのは、Pを基準にQを比較するため、向きがあることです。
0になる条件
PとQが同じ分布なら0になります。
数学的には、確率1の範囲で同じ分布なら0と整理します。
無限大になる場合
P(x)>0なのにQ(x)=0となる点がある場合、KLダイバージェンスが無限大になることがあります。
いつ使う?(得意・不得意)
- 変分推論
- VAE
- 確率分布の近似
- 情報理論
などで使われます。
相互情報量との関係
相互情報量は、同時分布 P(X,Y) と周辺分布の積 P(X)P(Y) のKLダイバージェンスとして表せます。
したがって、
相互情報量とKLは完全に無関係
ではありません。
ただし、試験では役割を分けて覚えます。
- KL → 2分布の違い
- 相互情報量 → 2変数の依存の強さ
G検定ひっかけポイント
KLは距離?
❌ 対称で三角不等式を満たす距離
⭕ 非対称なので通常の距離ではない
KL=0
⭕ 分布が同じ
相互情報量
❌ KLとは無関係
⭕ KLを使って表せる
まとめ(試験直前用)
- KL=確率分布の違い
- 0以上
- 同じ分布なら0
- 非対称
- 距離ではない
- 相互情報量はKLで表現できる
- VAEでも重要