最終更新日：2026年8月27日
gk machine_learning probability
G検定トップ
＞ 相互情報量（Mutual Information）とは？独立・相関との違い【G検定対策】
まず結論
相互情報量（Mutual Information：MI）は、2つの確率変数がどれだけ情報を共有しているかを表す量です。
G検定では、まず次を押さえます。
- MI = 0 → 2つの確率変数は独立
- 相関係数 = 0 → 線形な相関がないだけで、独立とは限らない
つまり、相互情報量は線形関係だけに限定されない依存関係を見るときに使えます。
直感的な説明
相互情報量は、
Xを知ることで、Yについてどれだけ新しい情報が得られるか
と考えると理解しやすいです。
たとえば、互いに独立なサイコロの目とコインの裏表なら、一方を知っても他方の予測には役立ちません。このとき相互情報量は0です。
一方で、Xを知るとYについて予測しやすくなる関係があれば、相互情報量は0より大きくなります。
定義・仕組み
相互情報量は、2つの確率変数の依存関係の強さを表します。
考え方としては、
- 実際の同時分布
- XとYが独立だと仮定したときの分布
の違いを測っています。
重要な性質は次のとおりです。
- 相互情報量は0以上
- MI = 0 なら X と Y は独立
- 線形関係だけでなく、非線形な依存関係も捉えられる
G検定では数式を暗記するより、「0 ⇔ 独立」を判断できることが重要です。
いつ使う？（得意・不得意）
使われる場面
- 特徴量と目的変数の関係を調べる
- 特徴量選択
- 非線形な依存関係を捉える
- 変数どうしの情報共有の強さを評価する
注意点
相互情報量は便利ですが、有限データから推定するため、データ量や推定方法によって値が変わります。
また、相互情報量の値そのものは、相関係数のように単純な -1〜1 の範囲ではありません。
G検定ひっかけポイント
相関係数0との混同
❌ 相関係数が0なら独立である
⭕ 線形相関がないだけで、非線形な関係が残ることがあります。
MI=0の意味
❌ 2つの変数の確率分布が同じ
⭕ 2つの確率変数が独立
特徴量選択との関係
❌ 相互情報量は分類精度そのものを表す評価指標
⭕ 特徴量と目的変数の依存関係を見る指標として特徴量選択に使われます。
まとめ（試験直前用）
- 相互情報量＝2変数がどれだけ情報を共有しているか
- MI = 0 → 独立
- 相関係数0と独立は同じではない
- 非線形な依存関係も扱える
- 特徴量選択にも使われる