最終更新日：2026年8月26日
gk reinforcement_learning
G検定トップ
＞ 状態価値関数（State Value Function）とは？G検定対策
まず結論
状態価値関数 V(s) は、ある状態 s から方策に従って行動したときに、将来得られる割引累積報酬の期待値を表します。
G検定では、
- 状態だけを評価 → V(s)
- 状態＋行動を評価 → Q(s,a)
で切り分けるのが基本です。
直感的な説明
ゲームの途中で、
「今この状態にいると、この先どれくらい点数を稼げそうか？」
を数値にしたものが状態価値です。
目の前でもらえる報酬だけではなく、この状態から先の将来まで含めて評価するのがポイントです。
定義・仕組み
状態価値関数は、ある方策 π のもとで状態 s にいるときの、将来の割引累積報酬の期待値です。
重要なのは、価値が方策に依存することです。同じ状態でも、その後にどの方策で行動するかが変われば価値も変わり得ます。
また、割引率γによって、遠い将来の報酬へどの程度重みを残すかを調整します。
| 観点 | 状態価値 V(s) | 行動価値 Q(s,a) |
|---|---|---|
| 評価するもの | 状態 | 状態＋行動 |
| 何を知りたい？ | この状態はどれくらい良いか | この状態でこの行動はどれくらい良いか |
いつ使う？（得意・不得意）
- 方策がどれくらい良いかを状態ごとに評価したい
- 動的計画法やActor-Criticなどで価値を推定したい
- 状態の長期的な良さを比較したい
行動ごとの良さを直接比べたい場合は、Q(s,a)の方が適しています。
G検定ひっかけポイント
- ❌「即時報酬そのもの」→ 報酬 r と価値 V(s) は別
- ❌「状態と行動の組を評価」→ Q(s,a)
- ❌「どの方策でも同じ値」→ 価値は方策に依存する
- ⭕「状態から先の割引累積報酬の期待値」→ V(s)
- ⭕「状態だけか、状態＋行動か」でVとQを切り分ける
まとめ（試験直前用）
- V(s)＝状態の長期的な良さ
- 将来の割引累積報酬の期待値
- V(s)は方策に依存する
- Q(s,a)＝状態＋行動を評価
- 「状態だけ」ならV、「状態＋行動」ならQ