情報利得とは？決定木で分岐の良さを判断する基準【DS検定】

まず結論

情報利得とは、ある特徴量でデータを分岐したときに、不確実性がどれだけ減ったかを表す指標です。

DS検定では、情報利得を「決定木で、どの特徴量を使って分けるとよいかを判断する基準」として理解します。

用語	何を見る？	覚え方
情報利得	分岐で不確実性がどれだけ減ったか	分けたらどれだけスッキリしたか
エントロピー	分岐前後の混ざり具合	どれだけ混ざっているか
ジニ不純度	クラスの混ざり具合	純粋でない度合い
特徴量重要度	モデル全体での特徴量の貢献	その特徴量がどれだけ役立ったか

試験では、情報利得が大きいほど、よい分岐と判断します。

直感的な説明

たとえば、顧客を「購入する人」と「購入しない人」に分けたいとします。

分岐前のデータには、購入する人も購入しない人も混ざっています。

そこで、ある特徴量で分けます。

年齢で分ける
購入回数で分ける
会員ランクで分ける

もし「会員ランク」で分けた結果、片方のグループに購入する人が多く、もう片方に購入しない人が多く集まったら、分類しやすくなります。

このとき、分けた後のデータは混ざりが少なくなった状態です。

情報利得は、このように、

分けたことで、どれだけ分類しやすくなったか

を表す指標です。

定義・仕組み

情報利得は、分岐の前後で不確実性がどれだけ減ったかを表します。

考え方は次の流れです。

分岐前のデータの混ざり具合を確認する
ある特徴量でデータを分ける
分岐後のデータの混ざり具合を確認する
混ざり具合がどれだけ減ったかを見る

この「減った分」が情報利得です。

エントロピーとの関係

情報利得では、よくエントロピーという指標を使います。

エントロピーは、データの不確実性や混ざり具合を表します。

エントロピーが大きい：クラスが混ざっていて分かりにくい
エントロピーが小さい：クラスが偏っていて分かりやすい

情報利得は、ざっくり言うと次の考え方です。

分岐前のエントロピー − 分岐後のエントロピー

数式を覚えるより、分けた後に混ざりが減るほど情報利得が大きいと理解すれば十分です。

決定木での使われ方

決定木では、各ノードで「どの特徴量を使って分けるか」を決めます。

そのとき、情報利得を使う場合は、情報利得が最大になる特徴量を選びます。

つまり、情報利得は「分岐の良さ」を比べるためのものです。

どんな場面で使う？

決定木の分岐基準

最も代表的な用途は、決定木の分岐基準です。

たとえば、次のような分類問題で使われます。

顧客が購入するかどうか
メールが迷惑メールかどうか
商品が不良品かどうか
申込者が審査に通るかどうか

どの特徴量で分けると分類しやすくなるかを判断するために、情報利得を使います。

ランダムフォレストの理解

ランダムフォレストは、複数の決定木を組み合わせたモデルです。

そのため、木の分岐や特徴量の貢献を理解するときに、情報利得の考え方が関係します。

ただし、DS検定では、ランダムフォレストの細かい計算よりも、決定木の分岐基準として使われるという理解が重要です。

使うと誤解しやすい場面

情報利得が高いからといって、必ず因果関係があるわけではありません。

情報利得は、あくまで分類に役立つかどうかを見る指標です。

たとえば、ある特徴量でよく分類できたとしても、それが原因とは限りません。

よくある誤解・混同

情報利得が小さいほどよい、という誤解

これは逆です。

情報利得は、分岐によって不確実性がどれだけ減ったかを表します。

そのため、情報利得が大きいほど、よい分岐です。

エントロピーとの混同

エントロピーは「混ざり具合」そのものを表します。

情報利得は「分岐によってエントロピーがどれだけ減ったか」を表します。

用語	見ているもの
エントロピー	データの不確実性・混ざり具合
情報利得	分岐で不確実性がどれだけ減ったか

選択肢で「不確実性そのもの」と書かれていればエントロピー、「分岐によって減った不確実性」と書かれていれば情報利得を考えます。

ジニ不純度との混同

ジニ不純度も、決定木で使われる分岐基準です。

情報利得はエントロピーを使う考え方、ジニ不純度は別の不純度指標を使う考え方です。

観点	情報利得	ジニ不純度
主な考え方	エントロピーの減少を見る	クラスの混ざり具合を見る
判断	大きいほどよい分岐	小さいほど純粋な分岐
出題での見分け	不確実性、エントロピー、利得	不純度、ジニ

どちらも「分岐の良さ」を判断するための指標ですが、用語は区別します。

特徴量重要度との混同

情報利得は、主にある分岐での評価です。

一方、特徴量重要度は、モデル全体でその特徴量がどれだけ役立ったかを見る指標です。

用語	評価する範囲
情報利得	ある分岐でどれだけ不確実性が減ったか
特徴量重要度	モデル全体で特徴量がどれだけ貢献したか

DS検定では、「分岐の基準」なのか「モデル全体の貢献」なのかを読むと切り分けやすくなります。

情報利得が高い＝因果関係がある、という誤解

情報利得は、分類に役立つ特徴量を見つけるための指標です。

因果関係を示すものではありません。

選択肢で「原因であることを示す」と書かれていたら注意します。

確認問題（DS検定対策）

情報利得の説明として、最も適切なものはどれか。

ア. 回帰モデルの予測誤差を直接表す指標
イ. 分岐によって不確実性がどれだけ減ったかを表す指標
ウ. 特徴量同士の因果関係を証明する指標
エ. データの個数がどれだけ増えたかを表す指標

▶ クリックして答えと解説を見る（ここを開く）

正解：イ

解説

ア：予測誤差の説明であり、情報利得ではありません。
イ：適切です。情報利得は、分岐によって不確実性がどれだけ減ったかを表します。
ウ：情報利得は因果関係を証明する指標ではありません。
エ：データ量の増加ではなく、不確実性の減少を見る指標です。

判断ポイントは、「分岐」「不確実性の減少」「決定木」です。

まとめ（試験直前用）

情報利得＝分岐で不確実性がどれだけ減ったか
決定木で、どの特徴量を使って分けるかを判断する基準
情報利得は大きいほどよい分岐
エントロピーは混ざり具合、情報利得はその減少分
ジニ不純度、特徴量重要度、因果関係と混同しない

対応スキル項目（AI利活用スキルシート）

AIの理解
機械学習の基本理解
★ 機械学習モデルの基本的な仕組みを理解している