最終更新日:2026年9月26日
gk neural_network rnn
まず結論
RNN(Recurrent Neural Network)は、前時刻の隠れ状態を次時刻へ引き継ぎ、系列の順序や過去情報を利用するニューラルネットワークです。
G検定では、
- 隠れ状態
- 時間方向の重み共有
- BPTT
- 勾配消失・勾配爆発
を押さえます。
直感的な説明
通常のフィードフォワードネットワークは、各入力を独立に処理します。
RNNは、
前までに見た情報を内部状態へ残しながら次を処理する
イメージです。
そのため文章・音声・センサ時系列など、順序が意味を持つデータに利用されます。
定義・仕組み
代表的な単純RNNでは、
h_t = f(Wx_t + Uh_{t-1} + b)
のように、現在の入力 x_t と前時刻の隠れ状態 h_{t-1} から新しい隠れ状態を計算します。
重要なのは、各時刻で同じ重みを共有することです。
BPTT
学習時にはRNNを時間方向へ展開し、誤差を過去へ伝えるBPTTを使います。
系列が長くなると勾配を何度も掛け合わせるため、
- 勾配消失
- 勾配爆発
が起こりやすくなります。
いつ使う?(得意・不得意)
RNNは、
- 時系列
- 自然言語
- 音声
- 系列予測
などに利用されます。
ただし前時刻の状態に依存するため、系列方向の計算を完全には並列化しにくいという特徴があります。
長期依存を扱いやすくするためにLSTMやGRUが提案されました。
G検定ひっかけポイント
各時刻で別の重み?
❌ 時刻ごとに独立したパラメータを持つ
⭕ 同じ重みを時間方向に共有する
RNN=LSTM?
❌ 同じモデル名
⭕ LSTMはRNN系のゲート付きアーキテクチャ
Transformerとの違い
❌ Transformerも前時刻の隠れ状態を順に渡す
⭕ Transformerは再帰を使わずAttention中心に系列を扱う
ただしTransformerも、自己回帰生成では出力を順番に生成する場合があります。
まとめ(試験直前用)
- RNN=前時刻の隠れ状態を利用
- 重みを時間方向に共有
- 学習はBPTT
- 長系列で勾配消失・爆発
- LSTM / GRUはRNN系の改良
- Transformerは再帰を使わない
参考資料(原論文)
- Finding Structure in Time|Cognitive Science
- Elman(1990)。再帰結合を使って時間的な文脈を内部状態へ持たせるSimple Recurrent Networkの代表的な一次資料です。
- Backpropagation Through Time: What It Does and How to Do It|IEEE
- Werbos(1990)。時間方向へ展開したネットワークで誤差逆伝播を行うBPTTを整理した代表的な一次資料です。