最終更新日：2026年8月26日
gk reinforcement_learning
G検定トップ
＞ マルチエージェント強化学習とは？【G検定対策】
まず結論
マルチエージェント強化学習（Multi-Agent Reinforcement Learning: MARL）とは、複数のエージェントが同じ環境で相互作用しながら学習する強化学習の枠組みです。
G検定では、「複数の学習主体が互いの行動の影響を受けるか」で切り分けます。
直感的な説明
1人で迷路を解くなら単一エージェントです。
一方、複数のプレイヤーが同じ環境で、
- 協力する
- 競争する
- 協力と競争が混ざる
なら、マルチエージェントの考え方が重要になります。
ポイントは、複数のユニットがあることではなく、複数の意思決定主体が存在することです。
定義・仕組み
マルチエージェント環境では、あるエージェントの行動が他のエージェントの状態や報酬に影響します。
代表的な関係は次の3つです。
- 協調型：共通目標の達成を目指す
- 競争型：相手より良い結果を目指す
- 混合型：協調と競争が共存する
他のエージェントも学習して方策を変えるため、単一エージェントから見ると環境が変化しているように見えることがあります。これが学習を難しくする要因の1つです。
分散強化学習との違い
- マルチエージェント強化学習 → 複数の意思決定主体が相互作用する
- 分散強化学習 → 学習や経験収集を複数の計算主体へ分散する
「複数」という言葉だけで同じものと判断しないことが重要です。
いつ使う？（得意・不得意）
代表例として、
- チーム対戦ゲーム
- ロボット群制御
- 交通・市場など複数主体が相互作用する環境
があります。
ただし、対戦ゲームなら必ずMARLというわけではありません。問題設定で複数のエージェントを学習主体として扱っているかを確認します。
G検定ひっかけポイント
よくある誤解
- ❌ 複数の駒やユニットがあればマルチエージェント
- ❌ マルチエージェント＝分散強化学習
- ❌ 対戦ゲームなら必ずマルチエージェント
選択肢を切る判断基準
- 「複数の学習主体が相互作用」→ マルチエージェント強化学習
- 「協調・競争」→ MARLを疑う
- 「経験収集を多数のActorへ分散」→ 分散強化学習
- 「複数タスクを1モデルが処理」→ マルチタスク学習
まとめ（試験直前用）
- MARL＝複数エージェントが相互作用しながら学習
- 協調・競争・混合がある
- 複数ユニットではなく複数の意思決定主体を見る
- 分散強化学習とは別概念
- 「誰が複数なのか」で切る