Skip to the content.

最終更新日:2026年9月26日

まず結論

RNN(Recurrent Neural Network)は、前時刻の隠れ状態を次時刻へ引き継ぎ、系列の順序や過去情報を利用するニューラルネットワークです。

G検定では、

  • 隠れ状態
  • 時間方向の重み共有
  • BPTT
  • 勾配消失・勾配爆発

を押さえます。

直感的な説明

通常のフィードフォワードネットワークは、各入力を独立に処理します。

RNNは、

前までに見た情報を内部状態へ残しながら次を処理する

イメージです。

そのため文章・音声・センサ時系列など、順序が意味を持つデータに利用されます。

定義・仕組み

代表的な単純RNNでは、

h_t = f(Wx_t + Uh_{t-1} + b)

のように、現在の入力 x_t と前時刻の隠れ状態 h_{t-1} から新しい隠れ状態を計算します。

重要なのは、各時刻で同じ重みを共有することです。

BPTT

学習時にはRNNを時間方向へ展開し、誤差を過去へ伝えるBPTTを使います。

系列が長くなると勾配を何度も掛け合わせるため、

  • 勾配消失
  • 勾配爆発

が起こりやすくなります。

いつ使う?(得意・不得意)

RNNは、

  • 時系列
  • 自然言語
  • 音声
  • 系列予測

などに利用されます。

ただし前時刻の状態に依存するため、系列方向の計算を完全には並列化しにくいという特徴があります。

長期依存を扱いやすくするためにLSTMやGRUが提案されました。

G検定ひっかけポイント

各時刻で別の重み?

❌ 時刻ごとに独立したパラメータを持つ
⭕ 同じ重みを時間方向に共有する

RNN=LSTM?

❌ 同じモデル名
⭕ LSTMはRNN系のゲート付きアーキテクチャ

Transformerとの違い

❌ Transformerも前時刻の隠れ状態を順に渡す
⭕ Transformerは再帰を使わずAttention中心に系列を扱う

ただしTransformerも、自己回帰生成では出力を順番に生成する場合があります。

まとめ(試験直前用)

  • RNN=前時刻の隠れ状態を利用
  • 重みを時間方向に共有
  • 学習はBPTT
  • 長系列で勾配消失・爆発
  • LSTM / GRUはRNN系の改良
  • Transformerは再帰を使わない

参考資料(原論文)

© 2024-2026 stemtazoo. All rights reserved.