Skip to the content.

最終更新日:2026年9月24日

まず結論

KLダイバージェンス(Kullback-Leibler Divergence)は、2つの確率分布の違いを表す量です。

代表的な性質は、

  • 0以上
  • PとQが同じなら0
  • 非対称
  • 距離ではない

です。

直感的な説明

真の分布Pを、近似分布Qで表そうとしたとき、

QはPからどれくらいずれているか?

を見るイメージです。

向きを逆にすると一般に値が変わります。

定義・仕組み

離散分布では、

D_KL(P || Q) = Σ P(x) log(P(x) / Q(x))

と表します。

重要なのは、Pを基準にQを比較するため、向きがあることです。

0になる条件

PとQが同じ分布なら0になります。

数学的には、確率1の範囲で同じ分布なら0と整理します。

無限大になる場合

P(x)>0なのにQ(x)=0となる点がある場合、KLダイバージェンスが無限大になることがあります。

いつ使う?(得意・不得意)

  • 変分推論
  • VAE
  • 確率分布の近似
  • 情報理論

などで使われます。

相互情報量との関係

相互情報量は、同時分布 P(X,Y) と周辺分布の積 P(X)P(Y) のKLダイバージェンスとして表せます。

したがって、

相互情報量とKLは完全に無関係

ではありません。

ただし、試験では役割を分けて覚えます。

  • KL → 2分布の違い
  • 相互情報量 → 2変数の依存の強さ

G検定ひっかけポイント

KLは距離?

❌ 対称で三角不等式を満たす距離
⭕ 非対称なので通常の距離ではない

KL=0

⭕ 分布が同じ

相互情報量

❌ KLとは無関係
⭕ KLを使って表せる

まとめ(試験直前用)

  • KL=確率分布の違い
  • 0以上
  • 同じ分布なら0
  • 非対称
  • 距離ではない
  • 相互情報量はKLで表現できる
  • VAEでも重要

© 2024-2026 stemtazoo. All rights reserved.