Skip to the content.

最終更新日:2026年10月19日

まず結論

Elman Networkは、前時刻の隠れ層の活性をContext Unitへコピーし、現在の入力と一緒に次の隠れ状態を計算する初期RNNです。

ここでは、隠れ状態が時刻ごとにどう引き継がれるかを追います。出力側を戻すJordanとの見分け方は、JordanとElmanの比較で横並びに確認できます。

直感的な説明

1語ずつ文章を読むとき、前の語までの理解を覚えながら次の語を読みます。ElmanのContextは、その「前回までの内部状態」を次へ渡すメモです。

メモに入れるのは予測結果そのものではなく、隠れ層で作った内部表現です。

定義・仕組み

入力を x、隠れ状態を h とすると、現在の入力と1つ前の隠れ状態から、新しい隠れ状態を作ります。

時刻 今回の入力 Contextが保持する値 新しく作る状態
1 x₁ 初期状態h₀ x₁とh₀からh₁を計算
2 x₂ 前回のh₁ x₂とh₁からh₂を計算
3 x₃ 前回のh₂ x₃とh₂からh₃を計算

処理のたびに、新しい隠れ状態を次の時刻のContextへコピーします。Contextは過去の状態をすべて別々に並べる場所ではありません。前回の内部表現を現在の計算へ使います。

コピーする結合と、Contextを使って次の隠れ状態を計算する学習可能な結合も区別します。Context自体を独立した特徴抽出層として覚えないようにします。

いつ使う?(得意・不得意)

系列を順に処理し、前回の内部表現を利用するRNNの基本を学ぶ教材になります。現在の実務モデルを選ぶための性能比較ではなく、再帰構造を理解する入口です。

単純RNNでは勾配消失・爆発が問題になりやすく、長期依存を扱う工夫はLSTMやGRUで確認できます。

G検定ひっかけポイント

  • 「出力側の情報を状態へ戻す」なら、Jordan Networkの説明です。
  • Contextが持つのは前時刻の隠れ層の活性です。
  • 時刻2の計算に使うContextはh₁であり、これから計算するh₂ではありません。
  • Contextへのコピーがあることと、LSTMのようなゲート付き記憶を持つことは別です。

まとめ(試験直前用)

  • Elmanは前回の隠れ状態を使う
  • 現在の入力とContextから新しい隠れ状態を計算する
  • 新しい隠れ状態を次時刻へ引き継ぐ
  • 判断語はhidden → context

参考資料

次に読むなら

エルマンネットワークの構造を理解したら、RNN全体と類似構造を比較します。

🔗 関連記事


© 2024-2026 stemtazoo. All rights reserved.