最終更新日:2026年9月23日
gk machine_learning supervised_learning cheatsheet
まず結論
教師あり学習の代表手法は、何を予測し、どんな境界・規則を学ぶかで切り分けます。
| 手法 | 主な用途 | 判断キーワード |
|---|---|---|
| 線形回帰 | 回帰 | 連続値・線形結合・最小二乗 |
| ロジスティック回帰 | 分類 | 確率・sigmoid・logit |
| SVM | 分類・回帰 | 最大マージン・サポートベクトル |
| 決定木 | 分類・回帰 | 条件分岐・Gini・剪定 |
G検定では、名前だけでなく出力と学習の仕組みを確認します。
直感的な説明
製造データで考えると、
- 寸法を数値で予測 → 線形回帰
- 不良になる確率を求める → ロジスティック回帰
- 良品と不良品を余白を大きく分ける → SVM
- 「温度が○以上なら…」と条件分岐 → 決定木
というイメージです。
定義・仕組み
線形回帰
説明変数の線形結合で連続値を予測します。
代表的なOLSでは残差二乗和を小さくするよう係数を求めます。
ロジスティック回帰
説明変数の線形結合をsigmoidで0〜1へ変換し、クラス確率として扱います。
名前は「回帰」ですが代表用途は分類です。
SVM
クラス間のマージンを大きくする境界を求めます。
境界付近のサポートベクトルが重要で、カーネル法によって非線形へ対応できます。
決定木
特徴量のしきい値で条件分岐を繰り返します。
分類・回帰の両方に利用でき、深くしすぎると過学習しやすくなります。
いつ使う?(得意・不得意)
| 観点 | 線形回帰 | ロジスティック回帰 | SVM | 決定木 |
|---|---|---|---|---|
| 連続値予測 | ◎ | ― | SVRで可 | 回帰木で可 |
| 分類 | ― | ◎ | ◎ | ◎ |
| 非線形対応 | 特徴量設計 | 特徴量設計 | カーネル | 分岐で対応 |
| 標準化 | 状況により | 正則化時など有効 | 重要になりやすい | 通常必須ではない |
| 解釈 | 係数 | 係数・オッズ | 境界 | 分岐規則 |
「どれが常に最高精度か」ではなく、問題の構造と目的で選びます。
G検定ひっかけポイント
ロジスティック回帰
❌ 連続値を予測する代表的回帰
⭕ 代表的には分類
SVM
❌ 分類だけ
⭕ SVRとして回帰も可能
カーネル法
❌ 高次元を低次元へ圧縮する次元削減
⭕ 高次元特徴空間での内積に相当する計算
決定木
❌ 標準化が必須
⭕ 通常はしきい値分割なので必須ではない
重回帰
❌ 目的変数が複数
⭕ 説明変数が複数
まとめ(試験直前用)
- 線形回帰=連続値
- ロジスティック回帰=確率・分類
- SVM=最大マージン
- 決定木=条件分岐
- カーネル=次元削減ではない
- 決定木は分類・回帰の両方
- 予測対象→学習する境界・規則の順で切る