---
title: "パンディットアルゴリズム（Multi-Armed Bandit）とは？【探索と活用｜G検定対策】"
description: "パンディットアルゴリズム（Multi-Armed Bandit）について、G検定で問われる強化学習分野の観点から、状態・行動・報酬・方策との関係、価値ベース手法や方策ベース手法との違いを整理します。暗記だけでなく、似た概念との混同を避ける見分け方や、選択肢を切るためのポイントも確認します。"
canonical_url: "https://stemtazoo.github.io/gk/multi-armed-bandit/"
section: "gk"
---

## まず結論
- **パンディットアルゴリズム（Multi-Armed Bandit）とは、各選択肢に確率的な報酬が与えられる状況で、探索と活用のバランスを取りながら最適な行動を学習する強化学習アルゴリズム**である。
- G検定では「**状態遷移がない強化学習**」として問われる。

## 直感的な説明
パンディット問題は、次のようなたとえで説明されます。

- 複数のスロットマシン（腕：arm）がある
- どれも当たりやすさ（報酬確率）が違う
- 何度も引く中で、**一番得な台を見つけたい**

このときの悩みが、
- **探索（exploration）**：まだ試していない台を引く
- **活用（exploitation）**：当たりやすい台を引き続ける

👉 この2つのバランスを取るのがパンディットアルゴリズム。

## 定義・仕組み
### 定義
- 各行動（腕）に対して、確率的な報酬が与えられる問題設定
- 毎回1つの行動を選び、報酬を観測する

### 重要な特徴
- **状態（state）がない**
- **状態遷移がない**
- 行動の結果は、次の選択肢を変えない

👉 これは通常の強化学習（MDP）との最大の違い。

### 代表的な手法
- ε-greedy
- UCB（Upper Confidence Bound）
- Thompson Sampling

## いつ使う？（得意・不得意）
### 得意な場面
- Web広告の表示選択
- レコメンド（記事・商品）
- A/Bテストの自動化
- 医療治療方針の選択

### 苦手な場面
- 状態が時間とともに変化する問題
- 長期的な戦略が必要な問題
- ゲームやロボット制御

## G検定ひっかけポイント
ここが超重要です。

### よくある誤解
- ❌「系列予測アルゴリズムである」
- ❌「回帰モデルである」
- ❌「クラスタリング手法である」
- ❌「MDPを前提とした強化学習である」

### 正しい判断基準
- **探索と活用 → パンディット**
- **状態遷移あり → 通常の強化学習（MDP）**
- **逐次選択 → パンディット**
- **クラスタ代表抽出 → 教師なし学習**

問題文に  
「各選択肢」「確率的報酬」「探索と活用」  
とあれば **パンディットアルゴリズム**。

## 強化学習（MDP）との違い
- **パンディット**：状態なし・即時報酬
- **MDP**：状態あり・将来報酬も考慮

👉 パンディットは「強化学習の超簡略版」。

## まとめ（試験直前用）
- パンディット＝腕を選ぶ問題
- 探索と活用のバランス
- 状態遷移はない
- 即時報酬のみ
- Web推薦で頻出