最終更新日：2026年8月26日
gk reinforcement_learning
G検定トップ
＞ Q学習（オフポリシー強化学習）とは？G検定対策
まず結論
- Q学習（Q-learning）は、次状態で取りうる行動のうち最大のQ値を使って、現在のQ値を更新するオフポリシー型のTD学習手法です。
- G検定では、SARSAとの違いを「次に実際に選んだ行動を使うか、最大Q値を使うか」で切り分けます。
直感的な説明
Q学習は、実際には探索のために別の行動を選ぶことがあっても、更新するときは
次の状態で最も価値が高い行動を取ったらどうなるか
を基準に学びます。
つまり、行動を集める方策と、更新の基準にする方策が異なってよいため、オフポリシーと呼ばれます。
定義・仕組み
Q学習では、状態と行動の組み合わせの価値であるQ値を学びます。
概念的には、
現在のQ値 ← 現在のQ値 + 学習率 × [報酬 + 割引率 × 次状態の最大Q値 − 現在のQ値]
という形で更新します。
ポイントは、次状態で実際にどの行動を選ぶかとは別に、最大のQ値を更新目標に使うことです。
探索にはε-greedyなどを使えます。探索中にランダム行動を取っても、更新目標は最大Q値を使えます。
いつ使う？（得意・不得意）
向いている場面
- 行動価値Qを学びたい
- 環境モデルを使わずに学習したい
- オフポリシー学習の基本を理解したい
注意点
- 大きな状態空間では表形式Qテーブルが扱いにくい
- その場合はDQNなど、関数近似を使う方法につながる
- 探索方法や学習率などで学習の挙動が変わる
G検定ひっかけポイント
Q学習とSARSA
- Q学習：次状態の最大Q値を使う → オフポリシー
- SARSA：次に実際に選んだ行動のQ値を使う → オンポリシー
Q学習とDQN
- Q学習：Q値を学ぶ考え方・アルゴリズム
- DQN：Q値をニューラルネットワークで近似する深層強化学習手法
判断基準
- 「max Q(s’, a)」→ Q学習
- 「次に実際に選んだ行動」→ SARSA
- 「ニューラルネットでQ値を近似」→ DQN
まとめ（試験直前用）
- Q学習はオフポリシー型TD学習
- 行動価値Qを学ぶ
- 次状態の最大Q値で更新する
- 探索方策と更新目標は分けて考えられる
- SARSAとの違いは「最大Qか、実際の次行動か」