Skip to the content.

最終更新日:2026年9月26日

まず結論

LSTM(Long Short-Term Memory)は、単純RNNで学習しにくい長期依存を扱いやすくするため、セル状態とゲート機構を持つRNNです。

現代的なLSTMでは、

  • 入力ゲート
  • 忘却ゲート
  • 出力ゲート
  • セル状態

を押さえます。

直感的な説明

LSTMは、過去情報について、

残す?
新しく書き込む?
外へ出す?

をゲートで調整するメモリ付きRNNです。

単純RNNのように毎時刻すべてを書き換えるのではなく、セル状態に情報を通しながら必要な部分だけ更新します。

定義・仕組み

忘却ゲート

前のセル状態をどれだけ残すか決めます。

入力ゲート

新しい情報をセル状態へどれだけ書き込むか調整します。

出力ゲート

セル状態の情報を現在の隠れ状態・出力へどれだけ反映するか調整します。

セル状態

時間方向へ情報を伝える中心的な経路です。

この加算的な情報経路とゲート制御により、単純RNNより長期依存を学習しやすくなります。

操作して確認:3つのゲートの役割

前のセル状態を0.60とする単純化した例です。ゲートの値を動かすと、保持・追加・出力の違いが見えます。実際のLSTMではゲート値は入力などから学習済みの重みを用いて計算されます。

ゲートを動かすとセル状態と出力が変わります。

忘却=前の情報を残す割合、入力=候補情報を追加する割合、出力=セル状態から外へ出す割合。候補情報は理解しやすいよう正の値だけを使用しています。

いつ使う?(得意・不得意)

LSTMは、

  • 時系列予測
  • 文章・音声
  • 系列分類
  • 長期依存を含む系列

などで利用されてきました。

ただし、

LSTMなら勾配消失が完全になくなる

わけではありません。

またTransformerなど別の系列モデルが適する場合もあり、常にLSTMが最適とは限りません。

G検定ひっかけポイント

ゲート数

現代的な標準LSTMでは、

  • 入力
  • 忘却
  • 出力

の3種類を押さえます。

CEC

原典LSTMではConstant Error Carousel(CEC)という考え方が重要です。

詳しくはLSTMのCECで整理しています。

GRUとの違い

  • LSTM → セル状態を明示的に持つ
  • GRU → 独立したセル状態を持たず、更新・リセットゲートを使う

まとめ(試験直前用)

  • LSTM=長期依存を扱いやすいRNN
  • セル状態
  • 入力・忘却・出力ゲート
  • 勾配消失を緩和
  • CECは原典LSTMの重要概念
  • GRUより構造が複雑な傾向

参考資料(原論文)

© 2024-2026 stemtazoo. All rights reserved.