Skip to the content.

最終更新日:2026年9月26日

まず結論

違いは、負の入力をどう扱うかです。

関数 負の入力 負側の傾き
ReLU 0 0
Leaky ReLU 小さな負値を通す 固定
PReLU 小さな負値を通す 学習する

G検定では、

固定 → Leaky ReLU
学習 → PReLU

で切ります。

直感的な説明

ReLU

負の入力を0にします。

Leaky ReLU

負の領域でも、小さな傾きを残します。

PReLU

負側の傾きそのものをパラメータとして学習します。

定義・仕組み

ReLU

正の入力はそのまま、負の入力は0です。

負の領域では勾配が0になるため、ニューロンが負側に入り続けると更新されにくくなるDying ReLUが起こることがあります。

Leaky ReLU

負の領域に固定された小さな傾きを持たせます。

これにより、負の領域でも勾配を完全には0にしません。

傾きの値は実装・設定によって異なり、

Leaky ReLUの傾きは必ず0.01

とは限りません。

PReLU

Leaky ReLUに似ていますが、負側の傾きを学習可能なパラメータにします。

いつ使う?(得意・不得意)

Leaky ReLU・PReLUは、ReLUの負領域で勾配が0になる問題を緩和する選択肢です。

ただし、

Leaky ReLUやPReLUなら常にReLUより高性能

という意味ではありません。

モデルやタスクに応じて使い分けます。

G検定ひっかけポイント

Leaky ReLU

❌ 負側の傾きを学習する
⭕ 固定された傾き

PReLU

❌ 負側を完全に0にする
⭕ 負側の傾きを学習する

Dying ReLU

❌ ReLUの正の領域で勾配が大きくなりすぎる問題
⭕ 負領域で勾配0が続き、更新されにくくなる問題

まとめ(試験直前用)

  • ReLU=負は0
  • Leaky ReLU=負側に固定傾き
  • PReLU=負側の傾きを学習
  • Dying ReLU対策としてLeaky/PReLUを考える
  • 固定か学習かで切る

参考資料(原論文)

© 2024-2026 stemtazoo. All rights reserved.