最終更新日：2026年8月22日
gk metrics neural_network
まず結論
交差エントロピー（Cross Entropy）は、分類問題で予測確率と正解分布のずれを評価する代表的な損失関数です。
G検定では、次の対応で切り分けます。
- 分類・確率出力・正解クラスの確率 → 交差エントロピー
- 回帰・数値の差 → MSEなどの二乗誤差系
- 正解数の割合 → Accuracy（評価指標）
分類の学習で使う損失か、学習後に性能を測る指標かを分けるのが重要です。
直感的な説明
正解が「犬」なのに、モデルが次のように予測したとします。
犬 0.1
猫 0.9
正解クラス「犬」に低い確率しか与えていないため、交差エントロピーは大きくなります。
逆に、
犬 0.95
猫 0.05
なら損失は小さくなります。
つまり、単に正解・不正解を見るだけでなく、正解クラスへどれだけ確率を割り当てたかを学習に使います。
定義・仕組み
交差エントロピーは、正解分布 P と予測分布 Q の関係を使って計算します。
G検定では式を暗記するより、次の性質を押さえれば十分です。
- 正解クラスの予測確率が高い → 損失は小さい
- 正解クラスの予測確率が低い → 損失は大きい
- 自信を持って大きく間違える → 強いペナルティになる
Softmaxとの関係
多クラス・単一ラベル分類では、出力をSoftmaxで確率分布として扱い、交差エントロピーを使う構成が代表的です。
出力スコア
↓
Softmax
↓
各クラスの確率
↓
Cross Entropy
ただし、実装上は数値安定性のため、SoftmaxとCross Entropyを一体化してlogitsから直接計算する関数もよく使われます。
Sigmoidとの関係
二値分類や多ラベル分類では、SigmoidとBinary Cross Entropyを組み合わせることがあります。
したがって、
「交差エントロピー＝必ずSoftmax」
と覚えるのは強すぎます。
いつ使う？（得意・不得意）
| 問題 | 代表的な組み合わせ |
|---|---|
| 二値分類 | Sigmoid + Binary Cross Entropy |
| 多クラス・単一ラベル分類 | Softmax + Cross Entropy |
| 多ラベル分類 | 各出力にSigmoid + Binary Cross Entropy |
| 回帰 | MSE・MAEなど |
交差エントロピーは分類で代表的ですが、問題設定に応じて出力関数との組み合わせが変わる点を押さえます。
G検定ひっかけポイント
- ❌「交差エントロピーはAccuracyと同じ」
- Accuracyは正解率を測る評価指標です。
- ❌「交差エントロピーは主に回帰で使う」
- 分類で代表的な損失です。
- ❌「交差エントロピーを使うなら必ずSoftmax」
- 二値・多ラベルではSigmoidと組み合わせる場合があります。
- ❌「Softmaxを適用してからでないと実装できない」
- 実装ではlogitsから一体で計算することも多いです。
- ⭕「正解クラスの確率が低いほど損失が大きい」
- 交差エントロピーの中心的な性質です。
選択肢を切る判断基準
- 「分類」「予測確率」「正解クラス」→ 交差エントロピー
- 「回帰」「数値差の二乗」→ MSE
- 「正解した割合」→ Accuracy
- 「2つの確率分布のずれ」→ KLダイバージェンスとの関係も確認
まとめ（試験直前用）
- 交差エントロピー＝分類で代表的な損失関数
- 正解クラスの確率が低いほど損失が大きい
- 多クラスではSoftmaxとの組み合わせが代表的
- 二値・多ラベルではSigmoid＋Binary Cross Entropyも使われる
- Accuracyは評価指標であり、損失関数とは役割が違う
次に読むなら、交差エントロピーとKLダイバージェンスの違いを確認するとつながります。