最終更新日:2026年9月26日
gk neural_network rnn gru
まず結論
GRU(Gated Recurrent Unit)は、単純RNNの長期依存問題を緩和するためのゲート付きRNNです。
代表的には、
- 更新ゲート
- リセットゲート
を使います。
LSTMと違い、独立したセル状態を持たず、隠れ状態に情報をまとめる点が重要です。
直感的な説明
GRUは、
前の情報をどれくらい残すか
新しい候補状態を作るとき過去をどれくらい使うか
を2つのゲートで調整します。
LSTMと似た目的を持ちますが、構造をより単純にしています。
定義・仕組み
更新ゲート
過去の隠れ状態と新しい候補状態をどの割合で混ぜるか調整します。
リセットゲート
新しい候補状態を作るとき、過去情報をどれくらい参照するか調整します。
GRUでは情報を加算的に受け渡す経路があり、単純RNNより勾配を長く伝えやすくします。
いつ使う?(得意・不得意)
GRUは、
- 時系列
- 自然言語
- 系列分類・予測
などに利用できます。
LSTMよりパラメータ数が少ない傾向がありますが、
GRUは常に高速
LSTMより常に高精度
とは限りません。
性能はデータ・実装・ハイパーパラメータに依存します。
G検定ひっかけポイント
GRUのゲート
- 更新ゲート
- リセットゲート
セル状態
❌ LSTMと同じ独立セル状態を持つ
⭕ 隠れ状態へ統合する
GRU=軽量LSTM?
入口の覚え方としては使えますが、LSTMをそのまま削っただけの同一構造ではありません。
まとめ(試験直前用)
- GRU=ゲート付きRNN
- 更新ゲート
- リセットゲート
- 独立したセル状態を持たない
- LSTMより構造が単純な傾向
- 性能順位で覚えない
参考資料(原論文)
- Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation|ACL Anthology
- Choら(2014)。更新ゲートとリセットゲートを持つGRUとして知られるRNN Encoder-Decoderの構造を提案した原論文です。