最終更新日：2026年8月26日
gk reinforcement_learning
G検定トップ
＞ 割引率（γ）とは？将来報酬をどう評価するか【G検定対策】
まず結論
割引率（γ）は、将来の報酬を現在の判断でどの程度重く扱うかを決める係数です。
G検定では、
- γが小さい → 近い将来の報酬を重視
- γが1に近い → 遠い将来の報酬も重視
と切り分けます。
直感的な説明
同じ10点でも、「今すぐもらえる10点」と「かなり先でもらえる10点」を同じ重さで考えるとは限りません。
割引率は、将来の報酬へかける重みの減り方を決めます。
- γが小さい → 将来の報酬は早く小さくなる
- γが大きい → 将来の報酬はゆっくり小さくなる
つまり、γそのものが報酬ではなく、将来報酬を評価するときの重みです。
定義・仕組み
将来の報酬を足し合わせるとき、1ステップ先にはγ、2ステップ先にはγ²のように重みをかけます。
たとえば、
- 現在の報酬 → そのまま
- 1ステップ先 → γ × 報酬
- 2ステップ先 → γ² × 報酬
という形です。
多くの設定では 0 ≤ γ < 1 としますが、有限のエピソードなどでは γ = 1 を使う場合もあります。
割引率は、状態価値関数やQ関数などで将来の累積報酬を評価するときに使われます。
いつ使う？（得意・不得意）
γが小さい場合
- 近い報酬を重視する
- 遠い将来の影響を小さくする
γが1に近い場合
- 遠い将来の報酬も重視する
- 長期的な結果を反映しやすい
ただし、γが大きければ必ず良いわけではありません。問題の時間スケールや終了条件に応じて設定します。
G検定ひっかけポイント
- ❌「γは報酬そのもの」→ 将来報酬へかける重み
- ❌「γが大きいほど将来報酬を無視する」→ 逆
- ❌「γが小さいほど長期的な結果を重視する」→ 逆
- ⭕「γが1に近いほど遠い将来の報酬が減りにくい」
- ⭕「価値関数は割引された累積報酬を考える」
まとめ（試験直前用）
- 割引率γ＝将来報酬の重みを決める係数
- γが小さい → 近い報酬を重視
- γが1に近い → 遠い将来も重視
- γは報酬そのものではない
- 「将来報酬の重み」なら割引率