宝くじ仮説（Lottery Ticket Hypothesis）とは？剪定と高性能サブネット【G検定対策】

G検定トップ＞宝くじ仮説（Lottery Ticket Hypothesis）とは？剪定と高性能サブネット【G検定対策】

まず結論

宝くじ仮説とは、大規模ニューラルネットワークの中には、初期化時点で単独でも高性能を発揮できる小さなサブネットワーク（当たりくじ）が存在するという仮説である。
G検定では「ランダムに変える話ではない」点が問われる。

直感的な説明

宝くじ仮説は一言でいうと、

「最初から“当たり構成”は紛れ込んでいる」

という考え方です。

大きなネットワークを最初にランダム初期化
その中に、たまたま性能の良い部分構造が含まれている
それを見つけて残せば、小さくても高性能

👉 後から魔法をかけるのではない
👉 最初から当たりは入っている

定義・仕組み

定義

ランダム初期化された大規模ネットワークの中に、
単独で学習可能かつ高性能なサブネットワークが存在するという仮説

典型的な検証手順

大規模モデルを学習
重みの一部を剪定（pruning）
残ったサブネットを 元の初期値に戻す
再学習しても高性能を維持できるか確認

重要：

剪定はするが、構造をランダムに変えない
初期値が重要

いつ使う？（得意・不得意）

注意点

自動的に見つかるわけではない
すべてのタスクで簡単に成立するわけではない
仮説であり、万能な手法ではない

G検定ひっかけポイント

ここが今回の誤答ポイントです。

よくある誤解

❌「ネットワーク構造をランダムに変える」
❌「学習中にすべての重みを再初期化する」
❌「ハイパーパラメータ最適化理論」

正しい判断基準

既存ネットワークの中に良い部分がある → 宝くじ仮説
ランダムに変える → 違う
圧縮・剪定と関係 → 正しい

選択肢に
「高性能なサブネットワーク」
「初期化時点」
があれば 宝くじ仮説。

剪定（Pruning）との関係

剪定：不要な重みを削る手法
宝くじ仮説：なぜ剪定で性能が保たれるかの説明仮説

👉 手法ではなく“理由づけ”の理論

まとめ（試験直前用）

宝くじ仮説は理論・仮説
大規模モデル内に当たり構造が存在
初期値が重要
ランダム変更が目的ではない
圧縮・剪定の背景理論

🔗 関連記事

🏠 G検トップに戻る