中間層で使用される活性化関数とは？（ReLU・シグモイド・ソフトマックスの違い）【DS検定】

DS検定トップ＞中間層で使用される活性化関数とは？（ReLU・シグモイド・ソフトマックスの違い）【DS検定】

まず結論

中間層で使用される活性化関数とは、ニューラルネットワークに「非線形性」を与えるための関数です。
DS検定では「どの関数が中間層向きか」を判断させる問題がよく出ます。

ニューラルネットワークは、

入力 → 中間層 → 出力層

という構造になっています。

ここで中間層の役割は、
単純な直線では表せない複雑なパターンを表現することです。

もし中間層がすべて「線形（直線）」の変換だけなら、

結局は「1回の直線変換」と同じになります。

だからこそ、中間層には
曲がった関数（非線形関数）が必要になります。

活性化関数（Activation Function）とは、
各層の出力をどのように変換するかを決める関数です。

これらは「非線形」なので、
モデルに複雑な表現力を持たせることができます。

ソフトマックスは、
出力を確率（合計1）に変換する関数です。

そのため、通常は
多クラス分類の出力層で使われます。

DS検定では、

「どの層でどの関数が使われるか」

を整理しておくことが重要です。

理論上は使えます。
しかしすべて線形にすると、層を重ねる意味がなくなります。

そのため、実質的には非線形が必要です。

現在はReLUが主流ですが、
歴史的には中間層でも使われてきました。

DS検定では
「絶対に使われないもの」を選ばせる問題が多いです。

この場合、より明確に不適切なのは
ソフトマックス（出力層専用）です。

違います。
確率に変換するための関数なので、中間層には通常使いません。

選択肢では
「中間層でも一般的に使われる」と書かれていたら注意です。