gk neural_network
G検定トップ
> 活性化関数(ReLU / Sigmoid / tanh)の役割とは?G検定対策
まず結論
- 活性化関数の役割は、ニューラルネットワークに「非線形性」を与えることです。
- G検定では「なぜ必要か」「ReLU・sigmoid・tanhの違い」がよく問われます。
直感的な説明
- 活性化関数がないと、 ニューラルネットワークはどれだけ層を重ねても直線の組み合わせにしかなりません。
- 活性化関数は、 出力を曲げるスイッチのような役割を持ちます。
👉 この「曲がり」があるから、 XORのような複雑な問題を解けるようになります。
定義・仕組み
-
ニューロンでは、
- 重み付き和を計算
- 活性化関数に通す という処理を行います。
-
代表的な活性化関数:
Sigmoid
- 出力範囲:0〜1
- 確率として解釈しやすい
- 欠点:勾配消失が起きやすい
tanh
- 出力範囲:-1〜1
- Sigmoidより勾配が大きい
- それでも勾配消失の問題あり
ReLU
- 出力範囲:0以上
- 計算が簡単
- 勾配消失が起きにくい
- 現在最もよく使われる
いつ使う?(得意・不得意)
| 関数 | 主な用途 | 注意点 |
|---|---|---|
| Sigmoid | 出力層(二値分類) | 中間層では使われにくい |
| tanh | 旧来の中間層 | 深い層では不利 |
| ReLU | 中間層(主流) | Dead ReLU に注意 |
G検定ひっかけポイント
-
❌ 活性化関数は出力を制限するためだけのもの → 誤り
-
⭕ 非線形性を導入するため → 正解
-
❌ 層を増やせば活性化関数はいらない → 誤り
-
ReLUは
- 勾配消失を完全に防ぐ → ❌
- 勾配消失を起こしにくい → ⭕
まとめ(試験直前用)
- 活性化関数の役割は非線形性の導入
- 非線形がないとXORは解けない
- Sigmoid / tanh は勾配消失しやすい
- ReLUは現在の主流
- G検定では「なぜ必要か」を答えられることが重要 *
🔗 関連記事
- CLIP(画像とテキストの対応付けモデル)とは?G検定対策
- PaLM(大規模言語モデル)とは?G検定対策
- PaLM-E(環境対応マルチモーダルモデル)とは?G検定対策
- TF-IDF・Word2Vec・BERTの違いとは?役割で整理するNLP基礎【G検定対策】
- A2C / A3C とは?(Actor–Critic の実装差)【G検定対策】
🏠 G検トップに戻る