次元の呪い（Curse of Dimensionality）とは？特徴量が増える難しさ【G検定対策】

G検定トップ＞次元の呪い（Curse of Dimensionality）とは？特徴量が増える難しさ【G検定対策】

まず結論

次元の呪い（Curse of Dimensionality）とは、特徴量の数が増えて高次元になるほど、データが空間内で疎になり、学習や距離にもとづく判断が難しくなりやすい問題です。

G検定では、次の対応を押さえます。

同じ数のデータ点でも、置く場所が1本の線だけなら比較的密に並べられます。

しかし、2次元、3次元……と軸を増やしていくと、データ点を置ける空間が急速に広がります。

特徴量が少ない
→ データ点が比較的密

特徴量が多い
→ 空間が広がる
→ データ点が疎になりやすい

そのため、高次元では同じ密度を保つために、より多くのデータが必要になりやすくなります。

次元の呪いは、特定の1つのアルゴリズムの欠点ではなく、高次元空間で生じるさまざまな難しさの総称です。

代表的な影響には次があります。

特にk-NNやクラスタリングなど、距離や近傍関係を強く使う手法では注意が必要です。

ただし、次元が高いだけで必ず性能が悪くなるわけではありません。有用な特徴量が追加されることで性能が上がる場合もあります。

特徴量選択では、相互情報量などを利用する方法があります。

次元削減の代表例としては、PCAがあります。PCAは高次元データを低次元表現へ変換する手法なので、記事分類としては教師なし学習側に置いています。

❌ 高次元なら必ず精度が低下する
⭕ 高次元ではデータが疎になり、十分なデータや適切な特徴量設計がより重要になります。

❌ 高次元では距離を一切使えない
⭕ 距離の差が判別力を持ちにくくなる場合があり、距離ベース手法が影響を受けやすくなります。

この違いを混同しないようにします。