最終更新日:2026年9月26日
gk reinforcement_learning
まず結論
- Q学習(Q-learning)は、次状態で取りうる行動のうち最大のQ値を使って、現在のQ値を更新するオフポリシー型のTD学習手法です。
- G検定では、SARSAとの違いを「次に実際に選んだ行動を使うか、最大Q値を使うか」で切り分けます。
直感的な説明
Q学習は、実際には探索のために別の行動を選ぶことがあっても、更新するときは
次の状態で最も価値が高い行動を取ったらどうなるか
を基準に学びます。
つまり、行動を集める方策と、更新の基準にする方策が異なってよいため、オフポリシーと呼ばれます。
定義・仕組み
Q学習では、状態と行動の組み合わせの価値であるQ値を学びます。
概念的には、
現在のQ値 ← 現在のQ値 + 学習率 × [報酬 + 割引率 × 次状態の最大Q値 − 現在のQ値]
という形で更新します。
ポイントは、次状態で実際にどの行動を選ぶかとは別に、最大のQ値を更新目標に使うことです。
探索にはε-greedyなどを使えます。探索中にランダム行動を取っても、更新目標は最大Q値を使えます。
操作して確認:Q学習とSARSAの違い
現在のQ値を2、学習率を0.5、割引率を0.9として比較します。Q学習は次状態の最大Q値、SARSAは実際に選んだ次行動のQ値を使います。
Q学習とSARSAの更新後のQ値を比較します。
両者の更新式は「現在のQ値 + α ×(目標値 − 現在のQ値)」。次状態の値をどう選ぶかが違います。
いつ使う?(得意・不得意)
向いている場面
- 行動価値Qを学びたい
- 環境モデルを使わずに学習したい
- オフポリシー学習の基本を理解したい
注意点
- 大きな状態空間では表形式Qテーブルが扱いにくい
- その場合はDQNなど、関数近似を使う方法につながる
- 探索方法や学習率などで学習の挙動が変わる
G検定ひっかけポイント
Q学習とSARSA
- Q学習:次状態の最大Q値を使う → オフポリシー
- SARSA:次に実際に選んだ行動のQ値を使う → オンポリシー
Q学習とDQN
- Q学習:Q値を学ぶ考え方・アルゴリズム
- DQN:Q値をニューラルネットワークで近似する深層強化学習手法
判断基準
- 「max Q(s’, a)」→ Q学習
- 「次に実際に選んだ行動」→ SARSA
- 「ニューラルネットでQ値を近似」→ DQN
まとめ(試験直前用)
- Q学習はオフポリシー型TD学習
- 行動価値Qを学ぶ
- 次状態の最大Q値で更新する
- 探索方策と更新目標は分けて考えられる
- SARSAとの違いは「最大Qか、実際の次行動か」
参考資料(原論文)
- Q-learning|Machine Learning
- Watkins・Dayan(1992)によるQ-learningの代表的な原論文です。行動価値Q(s,a)を反復更新し、最適行動価値へ収束する条件を示しています。