最終更新日：2026年6月28日
gk reinforcement_learning
G検定トップ
＞ ノイズネットワーク（Noisy Nets）とは？【G検定対策】
まず結論
- ノイズネットワーク（Noisy Nets）とは、ニューラルネットワークの重みやバイアスに学習可能なノイズを加えることで探索行動を促進する強化学習手法である。
- G検定では「どこにノイズを入れるか」「何のための手法か」「データ拡張との違い」が問われる。
直感的な説明
- ε-greedyのように「たまにランダム行動をする」のではなく、 ネットワークそのものの性格を少しずつ揺らすイメージ。
- 同じ状態でも、重みが少し変わることで行動が変わり、自然に探索が進む。
定義・仕組み
-
通常の全結合層の重み・バイアスを
- 決定的な成分
- 確率的なノイズ成分 に分解して表現する。
- ノイズの大きさ（パラメータ）は学習によって最適化される。
- ε-greedyの代替として使われることが多い。
ε-greedyは行動を一定確率でランダムに選びます。一方、Noisy Netsは行動価値などを出力するネットワーク自体を揺らします。そのため、一連の状態である程度まとまりのある探索行動が生まれやすくなります。
入力画像や訓練データへノイズを加える手法ではありません。Noisy Netsが変化させる対象は、主にモデルのパラメータです。
いつ使う？（得意・不得意）
得意
- 探索と活用のバランスが重要な強化学習
- DQN系アルゴリズム（Rainbowなど）
不得意・注意点
- 教師あり学習や単なる正則化目的では使われない
- 実装がやや複雑
G検定ひっかけポイント
| 手法 | ランダム性を加える場所 | 主な目的 |
|---|---|---|
| Noisy Nets | 重み・バイアス | 強化学習の探索 |
| ε-greedy | 選択する行動 | 一定確率で探索 |
| データ拡張 | 入力データ | 汎化性能の向上 |
| Dropout | ユニットの出力 | 過学習の抑制 |
- 「学習データにノイズを加える」→ ✕（それはデータ拡張）
- 「出力にノイズを加える」→ ✕
- 「オートエンコーダ」→ ✕
- 重みにノイズを加えて探索を促進が正解キーワード
まとめ（試験直前用）
- Noisy Nets＝重みにノイズ
- 目的は探索促進
- ε-greedyの代替手法
- DQN系（Rainbow）で利用
- データ拡張とは別物