最終更新日:2026年11月1日
gk neural_network activation
まず結論
活性化関数の中心的な役割は、ニューラルネットワークに非線形性を与えることです。
| 関数 | 主な使いどころ | 判断キーワード |
|---|---|---|
| ReLU | 中間層 | 負は0、正はそのまま |
| Sigmoid | 二値分類の出力層 | 0〜1 |
| tanh | 中間層など | -1〜1 |
| Softmax | 多クラス分類の出力層 | 出力の合計が1 |
G検定では、まず「なぜ必要か」→ 非線形性、次に「どこで使うか」で切ると整理しやすいです。
直感的な説明
活性化関数がない多層ネットワークでは、線形変換を何層重ねても全体としては線形変換のままです。
つまり、層を増やしただけでは複雑な境界を表現できません。
活性化関数を入れることで出力に「曲がり」を作り、XORのような線形分離できない関係も表現できるようになります。
触って比較:入力を動かすと出力はどう変わる?
関数を切り替えて、同じ入力に対する出力の違いを確認できます。
出力:0
ReLU:負の入力は0、正の入力はそのまま。中間層で使われやすい。
見るポイント:関数の「形」より、出力範囲と使う場所を結び付けます。
Softmaxは「複数のスコアをまとめて確率にする」
3クラスのスコアを動かしても、変換後の確率の合計は1になります。
確率の合計 = 1.00
Softmaxは1個の値を変換する曲線としてではなく、複数クラスをまとめて見るのがポイントです。
定義・仕組み
ニューロンでは、入力の重み付き和とバイアスを計算した後、活性化関数を適用します。
出力 = 活性化関数(重み付き和 + バイアス)
ReLU
- 入力が0以下 → 0
- 入力が正 → そのまま
- 計算が軽く、中間層で広く使われる
- 正の領域では勾配を保ちやすい
- 負の領域で勾配が0になり続けるとDead ReLUが起こりうる
ReLU系の違いは、ReLU / Leaky ReLU / PReLU比較で確認できます。
Sigmoid
- 出力範囲は0〜1
- 二値分類の出力を確率として扱いたい場面で使われる
- 飽和領域では微分が小さくなり、深い中間層では勾配消失の原因になりやすい
tanh
- 出力範囲は-1〜1
- 0を中心とした出力を持つ
- Sigmoidと同様、飽和領域では勾配消失が起こりうる
Softmax
- 複数クラスのスコアを確率分布として扱える形へ変換する
- 出力の合計が1になる
- 多クラス分類の出力層で使われることが多い
いつ使う?(得意・不得意)
| 問題文の表現 | 疑う関数 |
|---|---|
| 中間層・負の入力は0 | ReLU |
| 二値分類・0〜1 | Sigmoid |
| -1〜1・0中心 | tanh |
| 多クラス・合計1 | Softmax |
活性化関数は「名前だけ」で選ぶのではなく、中間層か出力層か、出力をどう解釈したいかで判断します。
G検定ひっかけポイント
- ❌「活性化関数の目的は出力範囲を制限することだけ」→ 中心は非線形性の導入
- ❌「活性化関数がなくても、層を増やせば非線形になる」→ 線形変換だけなら全体も線形
- ❌「Sigmoidは勾配消失を起こさない」→ 飽和領域で起こりやすい
- ❌「ReLUなら勾配消失を完全に防げる」→ 起こりにくくするが万能ではない
- ❌「Softmaxは中間層の標準的な活性化関数」→ 多クラス分類の出力層で使われることが多い
- ⭕「XORのような非線形問題を扱う」→ 多層化+非線形活性化が重要
まとめ(試験直前用)
- 活性化関数の役割 → 非線形性を入れる
- ReLU → 中間層
- Sigmoid → 二値分類の出力
- Softmax → 多クラス分類の出力
- Sigmoid / tanh → 飽和による勾配消失に注意
「なぜ必要?」と聞かれたら、まず非線形性を思い出します。
参考資料(原論文)
- Understanding the difficulty of training deep feedforward neural networks|PMLR
- Glorot・Bengio(2010)。Sigmoidの飽和と深いネットワークの学習難易度を分析しており、活性化関数と勾配の関係を理解する一次資料として有用です。
- Rectified Linear Units Improve Restricted Boltzmann Machines|ICML
- Nair・Hinton(2010)。Rectified Linear Unit(ReLU)を扱った初期の代表的な原論文です。