最終更新日:2026年10月19日
gk rnn
まず結論
Elman Networkは、前時刻の隠れ層の活性をContext Unitへコピーし、現在の入力と一緒に次の隠れ状態を計算する初期RNNです。
ここでは、隠れ状態が時刻ごとにどう引き継がれるかを追います。出力側を戻すJordanとの見分け方は、JordanとElmanの比較で横並びに確認できます。
直感的な説明
1語ずつ文章を読むとき、前の語までの理解を覚えながら次の語を読みます。ElmanのContextは、その「前回までの内部状態」を次へ渡すメモです。
メモに入れるのは予測結果そのものではなく、隠れ層で作った内部表現です。
定義・仕組み
入力を x、隠れ状態を h とすると、現在の入力と1つ前の隠れ状態から、新しい隠れ状態を作ります。
| 時刻 | 今回の入力 | Contextが保持する値 | 新しく作る状態 |
|---|---|---|---|
| 1 | x₁ | 初期状態h₀ | x₁とh₀からh₁を計算 |
| 2 | x₂ | 前回のh₁ | x₂とh₁からh₂を計算 |
| 3 | x₃ | 前回のh₂ | x₃とh₂からh₃を計算 |
処理のたびに、新しい隠れ状態を次の時刻のContextへコピーします。Contextは過去の状態をすべて別々に並べる場所ではありません。前回の内部表現を現在の計算へ使います。
コピーする結合と、Contextを使って次の隠れ状態を計算する学習可能な結合も区別します。Context自体を独立した特徴抽出層として覚えないようにします。
いつ使う?(得意・不得意)
系列を順に処理し、前回の内部表現を利用するRNNの基本を学ぶ教材になります。現在の実務モデルを選ぶための性能比較ではなく、再帰構造を理解する入口です。
単純RNNでは勾配消失・爆発が問題になりやすく、長期依存を扱う工夫はLSTMやGRUで確認できます。
G検定ひっかけポイント
- 「出力側の情報を状態へ戻す」なら、Jordan Networkの説明です。
- Contextが持つのは前時刻の隠れ層の活性です。
- 時刻2の計算に使うContextはh₁であり、これから計算するh₂ではありません。
- Contextへのコピーがあることと、LSTMのようなゲート付き記憶を持つことは別です。
まとめ(試験直前用)
- Elmanは前回の隠れ状態を使う
- 現在の入力とContextから新しい隠れ状態を計算する
- 新しい隠れ状態を次時刻へ引き継ぐ
- 判断語はhidden → context
参考資料
- Elman, J. L. (1990), Finding Structure in Time
次に読むなら
エルマンネットワークの構造を理解したら、RNN全体と類似構造を比較します。
- ジョルダンネットワークとElmanネットワークの違い:出力層を戻すか隠れ層を戻すかで切り分ける
- RNN(再帰型ニューラルネットワーク):系列情報を内部状態として保持する全体像を整理する
- 勾配消失問題とは?:初期のRNNが長期依存を学びにくい理由を確認する
🔗 関連記事
- BPTTとは?RNNを時間方向へ展開する誤差逆伝播【G検定】
- GRUとは?更新ゲート・リセットゲートとLSTMとの違い【G検定】
- Jordan Networkとは?出力側の情報を状態へ戻すRNN【G検定対策】
- LSTMのCECとは?Constant Error Carouselとゲートの役割【G検定】
- LSTMと非定常時系列|定常性を仮定しないことの意味【G検定対策】
🏠 G検トップに戻る