---
title: "ReLU / Leaky ReLU / PReLU（比較チートシート）"
description: "ReLU・Leaky ReLU・PReLUを、負の入力を0にするか、小さな固定傾きを残すか、その傾きを学習するかで比較します。計算が軽いReLUと、負領域で勾配が0になりニューロンが更新されなくなるDying ReLUへの対策を結び付け、Leaky ReLUの傾きも学習されるというG検定の誤答を切ります。"
canonical_url: "https://stemtazoo.github.io/gk/relu-family-cheatsheet/"
section: "gk"
---

## まず結論（試験で即切る）

**違いは「負の入力をどう扱うか」だけ。**

* **ReLU**：負は **0に切る**
* **Leaky ReLU**：負も **少し通す（固定）**
* **PReLU**：負を **学習して通す**

👉 G検定では、この対応関係を覚えていれば十分。

---

## 一目でわかる対応表（最重要）

| 活性化関数      | 入力 < 0 の出力 | 係数α        | 学習される？ | 代表キーワード      |
| ---------- | ---------- | ---------- | ------ | ------------ |
| ReLU       | 0          | 0          | なし     | シンプル・基本      |
| Leaky ReLU | α×入力       | 固定（例:0.01） | なし     | Dying ReLU対策 |
| PReLU      | α×入力       | 学習される      | あり     | 適応的          |

---

## 直感的な覚え方

* **ReLU**：

  > マイナスは完全に無視

* **Leaky ReLU**：

  > マイナスも「ちょっとだけ」通す

* **PReLU**：

  > マイナスをどれくらい通すかを学習する

---

## なぜLeaky ReLU / PReLUが生まれた？

ReLUには次の問題があります。

* 入力 < 0 のとき
* 勾配が 0
* 学習が止まる

👉 **Dying ReLU 問題**

これを緩和するために、

* Leaky ReLU
* PReLU

が提案されました。

---

## G検定ひっかけポイント

* ❌「Leaky ReLUは負の入力で0を出力する」
  → **ReLUの説明**

* ❌「PReLUは固定係数を使う」
  → **Leaky ReLUの説明**

* ❌「ReLUも負の入力を通す」
  → **誤り**

* ✅ **Leaky = 漏れる → 0にならない**

* ✅ **PReLU = Parameter → 学習する**

---

## よくある穴埋め問題対策

> Leaky ReLUでは、入力が負の値の場合、
> 出力は（　　　）となる。

👉 正解：**入力に小さな係数を掛けた負の値**

---

## まとめ（試験直前用）

* ReLU：負は0
* Leaky ReLU：負も少し通す（固定）
* PReLU：負の通し方を学習

👉 迷ったら

> **Leaky = 漏れる / P = Parameter**