最終更新日：2026年8月21日
gk neural_network cheatsheet
G検定トップ
＞ 活性化関数の微分とは？勾配消失との関係【G検定対策】
まず結論
活性化関数の微分は、誤差逆伝播で勾配がどれだけ前の層へ伝わるかに関係します。
G検定では、細かな導出より次の特徴を押さえます。
- Sigmoid：飽和領域で微分が小さくなる
- tanh：Sigmoid同様、飽和領域で微分が小さくなる
- ReLU：正の領域では微分1、負の領域では0
直感的な説明
誤差逆伝播では、後ろの層から前の層へ勾配を伝えていきます。
その途中で活性化関数の微分を掛けるため、微分値が何度も小さくなると勾配も小さくなっていきます。
これが、Sigmoidやtanhで勾配消失が起こりやすい理由の1つです。
定義・仕組み
Sigmoid
シグモイドの微分は、出力を y とすると y(1-y) と表せます。
- 最大値は0.25
- 入力の絶対値が大きい飽和領域では0に近づく
tanh
tanhの微分は、出力を y とすると 1-y² と表せます。
- 最大値は1
- 飽和領域では0に近づく
ReLU
- 入力が正 → 微分は1
- 入力が負 → 微分は0
- 0での扱いは実装上定義を決める
正の領域では勾配を保ちやすい一方、負の領域に入り続けると更新されにくくなるDead ReLUが起こることがあります。
いつ使う？（得意・不得意）
活性化関数の微分そのものを選ぶというより、次の文脈で重要です。
- 誤差逆伝播
- 勾配消失
- Dead ReLU
- 活性化関数の比較
誤差逆伝播法では、この微分を連鎖律でつないで各パラメータの勾配を求めます。
G検定ひっかけポイント
- ❌「Sigmoidの微分最大値は1」
- 最大値は0.25です。
- ❌「tanhは飽和しても勾配が小さくならない」
- 飽和領域では微分が0に近づきます。
- ❌「ReLUはすべての領域で微分1」
- 負の領域では0です。
- ❌「微分値が大きい関数ほど常に優れた活性化関数」
- 活性化関数の適否は用途やモデル構造にも依存します。
まとめ（試験直前用）
- 活性化関数の微分は勾配伝播に関係する
- Sigmoid：微分最大0.25、飽和で小さくなる
- tanh：微分最大1、飽和で小さくなる
- ReLU：正で1、負で0
- 小さい微分が連続すると勾配消失につながりやすい