最終更新日：2026年8月26日
gk metrics neural_network
G検定トップ
＞ 交差エントロピーとKLダイバージェンスの違い【G検定頻出】
まず結論
交差エントロピーとKLダイバージェンスは、どちらも確率分布を扱い、数学的にも強く関係する概念です。
G検定では、次の違いを押さえます。
- 交差エントロピー：正解分布
Pに対して予測分布Qがどれだけ不適切かを見る量。分類損失としてよく使う - KLダイバージェンス：ある分布
PをQで近似したときのずれを表す量。非対称で、距離そのものではない
重要なのは、「交差エントロピーは実務、KLは理論だけ」ではないことです。KLもVAEや知識蒸留など、学習目的の一部として使われます。
直感的な説明
2つの分布を比べるとき、交差エントロピーは
「正解側の情報量も含めて、予測がどれくらい悪いか」
を見る量です。
KLダイバージェンスは、
「正解側が本来持っている情報量を差し引いたとき、予測のせいでどれだけ余分なずれがあるか」
を見るイメージです。
そのため、両者には次の関係があります。
Cross Entropy = Entropy + KL Divergence
H(P, Q) = H(P) + KL(P || Q)
P が固定されているなら H(P) は定数なので、**Qについて交差エントロピーを最小化することと、KL(P |
Q)を最小化することは同じ最適解を持ちます。** |
定義・仕組み
交差エントロピー
正解分布 P と予測分布 Q の組み合わせで決まります。
分類では、正解クラスへ高い確率を与えるほど小さくなります。
KLダイバージェンス
2つの確率分布のずれを表します。
代表的な性質は次のとおりです。
KL(P || Q) >= 0P = Qなら 0- 一般に
KL(P || Q) != KL(Q || P) - 三角不等式も満たさないため、通常の意味での距離ではない
one-hot正解ラベルの場合
正解分布 P が完全なone-hotなら、そのエントロピー H(P) は0です。
したがってこの場合は、
Cross Entropy = KL(P || Q)
となります。
「常に交差エントロピー＝KL＋同じ定数」とだけ覚えるより、正解分布が固定なら最適化上の違いは定数項になると理解する方が安全です。
いつ使う？（得意・不得意）
| 文脈 | 疑うもの |
|---|---|
| 分類・正解クラスの予測確率 | 交差エントロピー |
| 2つの確率分布のずれ | KLダイバージェンス |
| VAEの潜在分布を事前分布へ近づける | KLダイバージェンス |
| 教師モデルと生徒モデルの出力分布を近づける | KLや交差エントロピー系 |
つまり、KLは「評価するだけの理論指標」ではなく、学習目標として最小化されることもあります。
G検定ひっかけポイント
- ❌「KLダイバージェンスは対称な距離である」
- 非対称で、距離ではありません。
- ❌「KLは学習では使われない」
- VAEなどで損失項として使われます。
- ❌「交差エントロピーとKLは無関係」
H(P,Q)=H(P)+KL(P||Q)の関係があります。
- ❌「one-hot正解でも必ず定数差が残る」
- one-hotなら
H(P)=0なので両者は一致します。
- one-hotなら
- ⭕「Pを固定してQを学習するなら、交差エントロピーとKLの差はQに依存しない項」
- 最適化上の重要な関係です。
選択肢を切る判断基準
- 「分類損失」「正解クラス確率」→ 交差エントロピー
- 「分布PとQ」「非対称」→ KLダイバージェンス
- 「VAEの正則化項」→ KLダイバージェンス
- 「両者の関係」→ Cross Entropy = Entropy + KL
まとめ（試験直前用）
- 交差エントロピーとKLは数学的に強く関係する
H(P,Q)=H(P)+KL(P||Q)- KLは非対称で距離ではない
- KLもVAEなどで学習に使われる
- one-hot正解なら
H(P)=0なので交差エントロピーとKLは一致する