最終更新日:2026年9月26日
gk neural_network rnn lstm
まず結論
LSTM(Long Short-Term Memory)は、単純RNNで学習しにくい長期依存を扱いやすくするため、セル状態とゲート機構を持つRNNです。
現代的なLSTMでは、
- 入力ゲート
- 忘却ゲート
- 出力ゲート
- セル状態
を押さえます。
直感的な説明
LSTMは、過去情報について、
残す?
新しく書き込む?
外へ出す?
をゲートで調整するメモリ付きRNNです。
単純RNNのように毎時刻すべてを書き換えるのではなく、セル状態に情報を通しながら必要な部分だけ更新します。
定義・仕組み
忘却ゲート
前のセル状態をどれだけ残すか決めます。
入力ゲート
新しい情報をセル状態へどれだけ書き込むか調整します。
出力ゲート
セル状態の情報を現在の隠れ状態・出力へどれだけ反映するか調整します。
セル状態
時間方向へ情報を伝える中心的な経路です。
この加算的な情報経路とゲート制御により、単純RNNより長期依存を学習しやすくなります。
操作して確認:3つのゲートの役割
前のセル状態を0.60とする単純化した例です。ゲートの値を動かすと、保持・追加・出力の違いが見えます。実際のLSTMではゲート値は入力などから学習済みの重みを用いて計算されます。
ゲートを動かすとセル状態と出力が変わります。
忘却=前の情報を残す割合、入力=候補情報を追加する割合、出力=セル状態から外へ出す割合。候補情報は理解しやすいよう正の値だけを使用しています。
いつ使う?(得意・不得意)
LSTMは、
- 時系列予測
- 文章・音声
- 系列分類
- 長期依存を含む系列
などで利用されてきました。
ただし、
LSTMなら勾配消失が完全になくなる
わけではありません。
またTransformerなど別の系列モデルが適する場合もあり、常にLSTMが最適とは限りません。
G検定ひっかけポイント
ゲート数
現代的な標準LSTMでは、
- 入力
- 忘却
- 出力
の3種類を押さえます。
CEC
原典LSTMではConstant Error Carousel(CEC)という考え方が重要です。
詳しくはLSTMのCECで整理しています。
GRUとの違い
- LSTM → セル状態を明示的に持つ
- GRU → 独立したセル状態を持たず、更新・リセットゲートを使う
まとめ(試験直前用)
- LSTM=長期依存を扱いやすいRNN
- セル状態
- 入力・忘却・出力ゲート
- 勾配消失を緩和
- CECは原典LSTMの重要概念
- GRUより構造が複雑な傾向
参考資料(原論文)
- Long Short-Term Memory|MIT Press / Neural Computation
- Hochreiter・Schmidhuber(1997)によるLSTMの原論文です。長期依存の学習で起きる誤差信号の減衰を背景に、長期間情報を保持する仕組みを提案しています。