相互情報量（Mutual Information）はを理解するための用語です。この記事では仕組み・役割・使いどころを押さえ、G検定で問われる判断ポイントとひっかけポイントを解説します。

gk metrics probability

G検定トップ ＞ 相互情報量（Mutual Information）とは？【G検定対策】

まず結論

  • 相互情報量（Mutual Information）とは、2つの確率変数がどれだけ情報を共有しているかを表す指標である。
  • G検定では「相互情報量が0のときの関係性」や「独立との対応関係」がよく問われる。

直感的な説明

相互情報量は、
「Xを知ることで、Yについてどれだけ新しい情報が得られるか」
を表す量です。

  • Xを見てもYがまったく予想できない → 情報を共有していない
  • Xを見るとYがかなり予想できる → 情報を多く共有している

たとえば、

  • サイコロの目（X）とコインの裏表（Y）
    → どちらも無関係なので、相互情報量は 0
  • 気温（X）とアイスの売上（Y）
    → 関係があるので、相互情報量は 0より大きい

定義・仕組み

相互情報量（Mutual Information, MI）は、
2つの確率変数 X と Y の依存関係の強さを表す指標 です。

  • 数学的には
    • 「同時確率分布」と「独立だと仮定した場合の確率分布」のズレ
      を測っている
  • 値の性質
    • 相互情報量 ≥ 0
    • 0 になるのは X と Y が独立なときのみ

※ G検定では数式そのものより、
「0 ⇔ 独立」 の対応関係が重要です。

いつ使う？（得意・不得意）

得意な場面

  • 特徴量選択（Feature Selection）
  • 非線形な関係の検出
  • 相関係数では捉えにくい依存関係の評価

注意が必要な点

  • 値のスケールが直感的でない
  • データ量が少ないと推定が不安定
  • 「相関が0」でも「相互情報量は0とは限らない」ことがある

G検定ひっかけポイント

ここが 最重要 です。

ひっかけ①

「相互情報量が0 → 確率分布が同じ」
❌ 不正解

→ 正しくは
相互情報量が0 → XとYは独立

ひっかけ②

「無相関（相関係数0）＝ 相互情報量0」
❌ 不正解

  • 相関係数：線形関係のみを見る
  • 相互情報量：非線形関係も含めて見る

ひっかけ③

選択肢に

  • 「相関関係がない」
  • 「反比例の関係」
    と書いてあったら注意。

👉 相互情報量が0と直接結びつくのは「独立」だけ

まとめ（試験直前用）

  • 相互情報量は「2変数がどれだけ情報を共有しているか」を表す
  • 相互情報量 = 0 ⇔ XとYは独立
  • 「確率分布が同じ」「相関が0」とはイコールではない
  • G検定では 0の意味を正確に判断できるか が問われる

👉 迷ったら「独立かどうか？」で切る

🔗 関連記事

🏠 G検トップに戻る