最終更新日：2026年8月26日
gk reinforcement_learning
G検定トップ
＞ 多腕バンディット（Multi-Armed Bandit）とは？【探索と活用｜G検定対策】
まず結論
- 多腕バンディット（Multi-Armed Bandit）は、複数の選択肢から1つを選び、その報酬を観測しながら、探索と活用のバランスを取る問題設定です。
- G検定では、標準的な多腕バンディットと通常のMDP型強化学習を比べて、状態遷移を扱うかを見ると切り分けやすくなります。
直感的な説明
バンディット問題は、次のようなたとえで説明されます。
- 複数のスロットマシン（腕：arm）がある
- どれも当たりやすさ（報酬確率）が違う
- 何度も引く中で、一番得な台を見つけたい
このときの悩みが、
- 探索（exploration）：まだ十分試していない台を試す
- 活用（exploitation）：今のところ良い台を選ぶ
定義・仕組み
標準的な多腕バンディットでは、次のように考えます。
- 各行動（腕）に対して確率的な報酬が与えられる
- 毎回1つの行動を選び、報酬を観測する
- 行動によって次の状態が変化するMDPのような状態遷移は基本的に扱わない
代表的な手法：
- ε-greedy
- UCB（Upper Confidence Bound）
- Thompson Sampling
なお、状況を表す特徴量を使って腕を選ぶコンテキスト付きバンディット（Contextual Bandit）もあります。ただし、通常のMDP型強化学習のように、行動による将来の状態遷移までモデル化することが中心ではありません。
いつ使う？（得意・不得意）
得意な場面
- Web広告の表示選択
- レコメンド候補の選択
- A/Bテストを逐次的に最適化したい場合
苦手な場面
- 行動が将来の状態に大きく影響する問題
- 長期的な状態遷移を考える必要があるゲームやロボット制御
G検定ひっかけポイント
よくある誤解
- ❌「系列予測アルゴリズムである」
- ❌「回帰モデルである」
- ❌「状態遷移を前提にしたMDPそのものである」
正しい判断基準
- 探索と活用 → バンディット
- 複数の腕・選択肢 → バンディット
- 行動による状態遷移と将来報酬 → MDP型強化学習を疑う
強化学習（MDP）との違い
- 標準的なバンディット：状態遷移を基本的に扱わず、各選択肢から得られる報酬を比較する
- MDP型強化学習：状態遷移があり、将来の累積報酬を考える
まとめ（試験直前用）
- 多腕バンディット＝複数の腕から選ぶ問題
- 探索と活用のバランスが中心
- 標準的な設定では状態遷移を扱わない
- ε-greedyやUCBが代表的
- 「行動による状態遷移＋将来報酬」ならMDP型強化学習と切り分ける