Skip to the content.

最終更新日:2026年9月23日

まず結論

BPTT(Backpropagation Through Time)は、RNNを時間方向へ展開し、誤差逆伝播を過去の時刻まで行う学習方法です。

G検定では、

BPTT=モデルではなく学習方法

を最優先で押さえます。

直感的な説明

RNNは同じネットワークを時刻ごとに繰り返し使います。

BPTTではこれを、

時刻1 → 時刻2 → 時刻3 → …

と展開して1つの深いネットワークのように見なし、後ろから誤差を戻します。

定義・仕組み

各時刻では同じRNNパラメータを共有しています。

BPTTでは、各時刻から生じた誤差が共有パラメータへ与える影響を時間方向に計算し、勾配を合算して更新します。

系列が長いほど勾配を繰り返し伝えるため、

  • 勾配消失
  • 勾配爆発
  • メモリ・計算量増加

が問題になりやすくなります。

Truncated BPTT

長い系列をすべて展開せず、一定の区間で誤差逆伝播を打ち切る方法です。

計算量を抑えられますが、非常に長い依存関係へ勾配を直接伝えにくくなるトレードオフがあります。

いつ使う?(得意・不得意)

BPTTは、

  • 単純RNN
  • LSTM
  • GRU

など再帰型ネットワークの学習で使われます。

LSTMやGRUはモデル構造、BPTTは学習アルゴリズムという役割の違いを押さえます。

G検定ひっかけポイント

BPTT=LSTM?

❌ 長期依存を扱うモデル
⭕ RNN系を時間方向に学習する方法

Truncated BPTT

❌ RNNの隠れ状態をなくす
⭕ 誤差をさかのぼる長さを制限する

勾配問題

BPTTで時間方向に長く伝播すると、勾配消失・爆発が起こり得ます。

まとめ(試験直前用)

  • BPTT=Backpropagation Through Time
  • RNNを時間方向へ展開
  • 共有パラメータへ誤差を伝播
  • モデルではなく学習方法
  • 長系列で勾配消失・爆発
  • Truncated BPTT=逆伝播する区間を制限

© 2024-2026 stemtazoo. All rights reserved.