Skip to the content.

最終更新日:2026年9月24日

まず結論

モデル圧縮は、モデルの

  • サイズ
  • メモリ使用量
  • 計算量
  • 消費電力・遅延

などを抑えるための技術群です。

代表的には、

で整理します。

直感的な説明

  • 削る → Pruning
  • 数値を粗くする → Quantization
  • 大きな教師から小さな生徒へ学ばせる → Distillation

と覚えると切り分けやすくなります。

定義・仕組み

Pruning

重み・チャネル・フィルタなどを削減します。

  • 非構造化Pruning → 個々の重みを0にする
  • 構造化Pruning → チャネル・フィルタ単位で削る

Quantization

FP32などの数値をINT8など低bit表現へ変換します。

モデルサイズ・メモリ帯域・対応ハードウェアでの演算効率改善が期待できます。

Knowledge Distillation

Teacherの出力分布や中間表現などをStudentの学習へ利用します。

必ずしもTeacherのパラメータをコピーするわけではありません。

いつ使う?(得意・不得意)

  • モバイル・エッジ
  • 低遅延推論
  • メモリ制約
  • 消費電力制約

などで重要です。

ただし、

パラメータ数を減らせば必ず実機で高速化する

とは限りません。

実際の速度は、

  • ハードウェア
  • ランタイム
  • 演算形式
  • メモリアクセス
  • 疎行列サポート

などにも依存します。

G検定ひっかけポイント

Dropout

❌ 推論時モデルの重みを恒久的に削除する圧縮
⭕ 学習時の正則化手法

Quantization

❌ 必ずネットワーク構造を変更する
⭕ 主に数値表現を低精度化

Distillation

❌ Teacherの重みをそのままStudentへコピー
⭕ Teacherの出力情報などを学習信号として利用

まとめ(試験直前用)

  • Pruning=削る
  • Quantization=bit幅を下げる
  • Distillation=知識を移す
  • 圧縮=必ず精度低下ではない
  • 圧縮=必ず実機高速化でもない
  • ハードウェアとの組合せも重要

© 2024-2026 stemtazoo. All rights reserved.