最終更新日：2026年8月26日
gk reinforcement_learning
G検定トップ
＞ 報酬成形（Reward Shaping）とは？【G検定対策】
まず結論
報酬成形（Reward Shaping）とは、強化学習で学習を進めやすくするために、元の報酬へ補助的な報酬を加える考え方です。
G検定では、報酬を設計して学習を誘導する手法であり、逆強化学習のように報酬関数を推定する手法ではない、と切り分けます。
直感的な説明
ゴールしたときだけ報酬がもらえる課題では、途中で何をすればよいか分かりにくいことがあります。
そこで、
- ゴールに近づく
- 正しい中間状態へ進む
といった途中経過にも補助的な報酬を与え、学習の手がかりを増やします。
定義・仕組み
報酬成形では、元の目的に対応する報酬に、追加の報酬信号を組み合わせます。
特にスパース報酬の問題では学習を助けることがありますが、補助報酬の設計次第では、本来の目的とは違う行動を最適化してしまう点に注意が必要です。
そのため、報酬成形は「追加報酬を入れれば必ず良くなる」手法ではありません。
いつ使う？（得意・不得意）
使われる場面
- 成功時にしか報酬が出ないなど、報酬が希薄な課題
- 長い行動列の途中にも学習の手がかりが欲しい場合
注意点
- 補助報酬が元の目的をゆがめることがある
- 報酬の抜け道を利用する報酬ハッキングにつながることがある
- 元の最適方策を保つことを重視する場合は、報酬の設計方法に注意が必要
G検定ひっかけポイント
よくある誤解
- ❌ 報酬を使わない学習手法
- ❌ デモから報酬関数を推定する手法
- ❌ 補助報酬を入れれば必ず最適方策は変わらない
選択肢を切る判断基準
- 「途中にも補助報酬を与える」→ 報酬成形
- 「スパース報酬を学びやすくする」→ 報酬成形を疑う
- 「行動例から報酬関数を推定」→ 逆強化学習
- 「報酬の抜け道を利用」→ 報酬ハッキング
まとめ（試験直前用）
- 報酬成形＝補助的な報酬で学習を助ける
- スパース報酬で有効なことがある
- 逆強化学習とは別
- 設計を誤ると目的がずれる
- 「報酬をどう与えるか」の問題として覚える