最終更新日:2026年9月26日
gk cheatsheet neural_network activation
まず結論
違いは、負の入力をどう扱うかです。
| 関数 | 負の入力 | 負側の傾き |
|---|---|---|
| ReLU | 0 | 0 |
| Leaky ReLU | 小さな負値を通す | 固定 |
| PReLU | 小さな負値を通す | 学習する |
G検定では、
固定 → Leaky ReLU
学習 → PReLU
で切ります。
直感的な説明
ReLU
負の入力を0にします。
Leaky ReLU
負の領域でも、小さな傾きを残します。
PReLU
負側の傾きそのものをパラメータとして学習します。
定義・仕組み
ReLU
正の入力はそのまま、負の入力は0です。
負の領域では勾配が0になるため、ニューロンが負側に入り続けると更新されにくくなるDying ReLUが起こることがあります。
Leaky ReLU
負の領域に固定された小さな傾きを持たせます。
これにより、負の領域でも勾配を完全には0にしません。
傾きの値は実装・設定によって異なり、
Leaky ReLUの傾きは必ず0.01
とは限りません。
PReLU
Leaky ReLUに似ていますが、負側の傾きを学習可能なパラメータにします。
いつ使う?(得意・不得意)
Leaky ReLU・PReLUは、ReLUの負領域で勾配が0になる問題を緩和する選択肢です。
ただし、
Leaky ReLUやPReLUなら常にReLUより高性能
という意味ではありません。
モデルやタスクに応じて使い分けます。
G検定ひっかけポイント
Leaky ReLU
❌ 負側の傾きを学習する
⭕ 固定された傾き
PReLU
❌ 負側を完全に0にする
⭕ 負側の傾きを学習する
Dying ReLU
❌ ReLUの正の領域で勾配が大きくなりすぎる問題
⭕ 負領域で勾配0が続き、更新されにくくなる問題
まとめ(試験直前用)
- ReLU=負は0
- Leaky ReLU=負側に固定傾き
- PReLU=負側の傾きを学習
- Dying ReLU対策としてLeaky/PReLUを考える
- 固定か学習かで切る
参考資料(原論文)
- Rectified Linear Units Improve Restricted Boltzmann Machines|ICML 2010
- Nair・Hinton(2010)。ReLUを扱った初期の代表的な一次資料です。
- Rectifier Nonlinearities Improve Neural Network Acoustic Models|Stanford
- Maas・Hannun・Ng(2013)。負の領域に小さな傾きを残すLeaky ReLU系のrectifierを検討しています。
- Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification|CVF
- Heら(ICCV 2015)。負の傾きを学習可能にするPReLUを提案しています。