最終更新日:2026年9月24日
gk neural_network model_compression
まず結論
Pruning(剪定)は、重要度の低い重み・接続・チャネルなどを削減し、モデルを軽量化する手法です。
G検定では、
- 非構造化 → 個々の重み
- 構造化 → チャネル・フィルタなどのまとまり
を押さえます。
直感的な説明
ニューラルネットワークの配線のうち、影響の小さい部分を取り除くイメージです。
ただし、
削れば削るほど良い
わけではなく、削りすぎると性能が下がるためバランスが必要です。
定義・仕組み
非構造化Pruning
個々の重みを0にし、疎なネットワークを作ります。
パラメータ数や保存サイズを減らせても、通常の密行列演算のままでは実機速度が大きく改善しない場合があります。
構造化Pruning
- チャネル
- フィルタ
- ブロック
などのまとまりを削除します。
一般に既存ハードウェアで高速化へつなげやすい形です。
いつPruningする?
学習後に剪定して再学習する方法だけでなく、学習中に疎性を高める方法もあります。
したがって、
Pruningは必ず学習後だけに行う
とは限りません。
いつ使う?(得意・不得意)
- モデルサイズを減らしたい
- エッジへ配置したい
- 計算量を抑えたい
場合に使われます。
削除後にFine-tuningして性能を回復させることもあります。
G検定ひっかけポイント
Pruning=Dropout?
❌ 学習時にランダムに一時無効化
⭕ 重み・構造を削減する圧縮
Pruning=Weight Decay?
❌ 重みにペナルティを加える
⭕ 接続や構造を削る
高速化
❌ 重みを0にすれば必ず同じ比率で高速化
⭕ ハードウェア・疎演算サポートに依存
まとめ(試験直前用)
- Pruning=剪定・削減
- 非構造化=個々の重み
- 構造化=チャネル・フィルタ
- 学習後だけとは限らない
- Fine-tuningで性能回復を図る場合がある
- Dropout・Weight Decayとは別