最終更新日:2026年9月23日
gk rnn neural_network
まず結論
BPTT(Backpropagation Through Time)は、RNNを時間方向へ展開し、誤差逆伝播を過去の時刻まで行う学習方法です。
G検定では、
BPTT=モデルではなく学習方法
を最優先で押さえます。
直感的な説明
RNNは同じネットワークを時刻ごとに繰り返し使います。
BPTTではこれを、
時刻1 → 時刻2 → 時刻3 → …
と展開して1つの深いネットワークのように見なし、後ろから誤差を戻します。
定義・仕組み
各時刻では同じRNNパラメータを共有しています。
BPTTでは、各時刻から生じた誤差が共有パラメータへ与える影響を時間方向に計算し、勾配を合算して更新します。
系列が長いほど勾配を繰り返し伝えるため、
- 勾配消失
- 勾配爆発
- メモリ・計算量増加
が問題になりやすくなります。
Truncated BPTT
長い系列をすべて展開せず、一定の区間で誤差逆伝播を打ち切る方法です。
計算量を抑えられますが、非常に長い依存関係へ勾配を直接伝えにくくなるトレードオフがあります。
いつ使う?(得意・不得意)
BPTTは、
- 単純RNN
- LSTM
- GRU
など再帰型ネットワークの学習で使われます。
LSTMやGRUはモデル構造、BPTTは学習アルゴリズムという役割の違いを押さえます。
G検定ひっかけポイント
BPTT=LSTM?
❌ 長期依存を扱うモデル
⭕ RNN系を時間方向に学習する方法
Truncated BPTT
❌ RNNの隠れ状態をなくす
⭕ 誤差をさかのぼる長さを制限する
勾配問題
BPTTで時間方向に長く伝播すると、勾配消失・爆発が起こり得ます。
まとめ(試験直前用)
- BPTT=Backpropagation Through Time
- RNNを時間方向へ展開
- 共有パラメータへ誤差を伝播
- モデルではなく学習方法
- 長系列で勾配消失・爆発
- Truncated BPTT=逆伝播する区間を制限