最終更新日：2026年8月26日
gk reinforcement_learning
G検定トップ
＞ SARSA（オンポリシー強化学習）とは？G検定対策
まず結論
- SARSAは、現在使っている方策に従って実際に選んだ次の行動のQ値を使って更新する、オンポリシー型のTD学習手法です。
- G検定では、Q学習との違いを「次状態で何のQ値を更新に使うか」で切り分けます。
直感的な説明
SARSAは、
実際に自分が選んだ行動も含めて、その行動方針のまま学ぶ
イメージです。
たとえばε-greedyで探索行動を選んだ場合、その探索も含めて次のQ値更新に反映されます。
一方、Q学習は、実際に次に何を選ぶかとは別に、次状態で最大のQ値を使います。
定義・仕組み
SARSAという名前は、更新に使う5要素から来ています。
- State（状態）
- Action（行動）
- Reward（報酬）
- State（次の状態）
- Action（次の行動）
重要なのは、次のActionが実際の方策で選ばれた行動である点です。
そのため、SARSAはオンポリシーに分類されます。
いつ使う？（得意・不得意）
向いている場面
- 現在の探索方策も含めた行動価値を学びたい
- オンポリシー学習の基本を理解したい
注意点
- 探索方策の影響を更新に受ける
- 方策の設定によって学習の振る舞いが変わる
- 「SARSAは常にQ学習より安全・遅い」とは限らない
G検定ひっかけポイント
SARSAとQ学習
- SARSA：次に実際に選んだ行動のQ値を使う
- Q学習：次状態で最大のQ値を使う
判断基準
- 「同じ方策で行動し、その行動で更新」→ SARSA
- 「次に選んだ行動のQ値」→ SARSA
- 「max Q」→ Q学習
- 「オンポリシー」→ SARSA
まとめ（試験直前用）
- SARSAはオンポリシー型TD学習
- 実際に選んだ次行動のQ値を使う
- 探索方策の影響も更新に反映される
- Q学習はmax Qを使うオフポリシー型
- 「次の実行行動か、最大Qか」で切り分ける