差分学習（TD学習, Temporal Difference Learning）とは？G検定対策

G検定トップ＞差分学習（TD学習, Temporal Difference Learning）とは？G検定対策

まず結論

差分学習（TD学習, Temporal Difference Learning）とは、強化学習において、実際に得た報酬と次状態の価値推定を使い、現在の価値推定を更新する方法です。
G検定では、エピソード終了を待たずに更新できることと、次の価値推定を使うブートストラップが判断ポイントです。

TD学習は、最終結果が出るまで待つのではなく、

「今の予想」と「1ステップ進んで分かった情報」を比べて、少しずつ予想を直す

イメージです。

たとえば、今いる状態を「将来10点くらい取れそう」と評価していたとします。次の状態へ進み、報酬と次状態の価値を見た結果、「実際には12点くらい期待できそう」と分かったら、その差を使って現在の評価を修正します。

TD学習では、概念的に次の情報を使います。

この差をTD誤差（Temporal Difference Error）と呼びます。

重要なのは、次状態の価値がまだ推定値でも、その推定値を使って現在の価値を更新する点です。これをブートストラップといいます。

TD学習は、最終結果を待たずに逐次更新できるのが特徴です。

Q学習とSARSAは、どちらもTD学習の考え方を使う代表的な手法です。

誤りです。これはモンテカルロ法との混同です。 TD学習は途中のステップで更新できます。

誤りです。TD誤差は、現在の価値推定と、報酬＋次状態の価値推定から作る目標との差です。