最終更新日：2026年7月18日

ds modeling evaluation

まず結論

不純度とは、決定木のノード内でクラスがどれだけ混ざっているかを表す指標です。

  • 1種類のクラスだけなら不純度は低い
  • 複数クラスが均等に混ざるほど不純度は高い

決定木は、分岐後の子ノード全体の不純度が小さくなる分岐を選びます。

直感的な説明

合格者だけのグループは、クラスがそろっているため純粋です。

一方、合格者と不合格者が半々のグループは混ざっているため、不純度が高い状態です。

ただし、分岐の良さを比べるときは、最も純粋な子ノードだけを見るのではありません。

たとえば、

  • 子ノードA：90件
  • 子ノードB：10件

なら、両者を同じ重さでは扱わず、含まれるデータ数で重み付けして評価します。

定義・仕組み

代表的な不純度指標は次の2つです。

指標 特徴
ジニ不純度 計算が比較的簡単で、決定木・ランダムフォレストでよく使われる
エントロピー 情報理論に基づき、情報利得の計算に使われる

どちらも、クラスが1種類なら最小になり、2クラスが半々に近づくほど大きくなります。

分岐後の不純度

分岐後は、各子ノードの不純度をデータ数で加重平均します。

分岐後の不純度
= 子ノードAの割合 × Aの不純度
+ 子ノードBの割合 × Bの不純度

つまり、データ数の少ない純粋なノードだけを作っても、残りの大部分が混ざったままなら良い分岐とはいえません。

情報利得との関係

情報利得は、親ノードから子ノードへ分岐したことで、不純度がどれだけ減ったかを表します。

情報利得
= 親ノードの不純度 - 分岐後の加重平均不純度
  • 不純度：現在の混ざり具合
  • 情報利得：分岐でどれだけ改善したか

という違いです。

どんな場面で使う？

決定木の分岐選択

複数の候補から、分岐後の加重平均不純度が最も小さくなる条件を選びます。

ランダムフォレスト

各決定木でも同じ考え方で分岐します。不純度減少量を集計し、特徴量重要度に使う場合があります。

回帰木

回帰ではクラス分類をしないため、ジニ不純度や分類用エントロピーではなく、分散や二乗誤差などを使います。

よくある誤解・混同

不純度が大きいほど良い

逆です。一般に小さいほどクラスがそろっています。

最も純粋な子ノードだけを見ればよい

誤りです。すべての子ノードをデータ数で重み付けして評価します。

不純度＝情報利得

異なります。

  • 不純度：状態を測る
  • 情報利得：分岐による減少量を測る

ジニ不純度＝所得格差のジニ係数

名前は似ていますが、用途が異なります。決定木で使うジニ不純度はクラスの混ざり具合を測ります。

不純度がゼロならモデル全体も高精度

必ずしもそうではありません。葉を細かく分ければ学習データ上では純粋にできますが、過学習して未知データに弱くなる場合があります。

不純度減少量の特徴量重要度は常に公平

カテゴリ数や分割候補が多い特徴量を高く評価しやすいことがあります。特徴量重要度を読む際の注意点です。

まとめ（試験直前用）

  • 不純度はノード内のクラスの混ざり具合
  • 小さいほどクラスがそろっている
  • 分岐後は子ノードの不純度をデータ数で加重平均する
  • 情報利得は親から子への不純度減少量
  • 分類木ではジニ不純度・エントロピーを使う
  • 回帰木では分散・二乗誤差などを使う
  • 葉が純粋でも、モデル全体の汎化性能が高いとは限らない

対応スキル項目（AI利活用スキルシート）

  • 機械学習モデルの基本的な仕組みを理解する
  • 決定木の分岐基準を説明できる

🔗 関連記事

© 2024-2026 stemtazoo. All rights reserved.