最終更新日:2026年10月19日
gk neural_network cnn
まず結論
Instance Normalization(IN)は、各サンプル・各チャネルごとに、空間方向の平均と分散を使って正規化する手法です。
ここでは、画像テンソルのどの値を一緒に平均するかを数値で確認します。BN・LN・INの軸の一覧は正規化手法の比較へ進んでください。
直感的な説明
INは、画像を1枚ずつ見て、さらにRGBなどのチャネルごとに明るさ・コントラストの基準を整えるイメージです。
他の画像の統計量を使わないため、バッチサイズに依存しにくいのが特徴です。
定義・仕組み
画像テンソルを考えると、INは各サンプル・各チャネルについて、主に高さ・幅の空間方向から平均と分散を計算します。
そのため、Batch Normalizationのようにバッチ内の別サンプルの値を使いません。
2画像・2チャネルの具体例
画像A・Bに、それぞれ2×2の特徴マップが2チャネルあるとします。以下の値は説明用の例です。行ごとに別々のグループとして計算します。
| 画像・チャネル | 上段/下段の値 | 平均 | 分散 | 正規化後の上段/下段 |
|---|---|---|---|---|
| A・チャネル1 | 1, 3 / 1, 3 | 2 | 1 | −1, 1 / −1, 1 |
| A・チャネル2 | 10, 14 / 10, 14 | 12 | 4 | −1, 1 / −1, 1 |
| B・チャネル1 | 100, 104 / 100, 104 | 102 | 4 | −1, 1 / −1, 1 |
| B・チャネル2 | 20, 20 / 24, 24 | 22 | 4 | −1, −1 / 1, 1 |
分散は、その行の4要素の偏差二乗の平均です。正規化後の値は (値 − 平均) ÷ 標準偏差 で計算し、説明のため微小値εと学習可能な拡大・移動の係数を省略しています。
A・チャネル1の計算に、A・チャネル2や画像Bの値は混ぜません。画像Bの値だけを変えても、A・チャネル1の統計量は変わりません。同じ画像でもチャネルごとに独立した基準を作るのが見るポイントです。
いつ使う?(得意・不得意)
INは特に、スタイル変換や画像生成などでよく知られています。
画像ごとのコントラストやスタイルに関わる統計量を整えたい場合に向いています。
一方で、画像分類などすべてのCNNで常に有利とは限りません。用途だけで覚えるより、どの単位で統計量を取るかで判断する方が安全です。
G検定ひっかけポイント
- ❌ 「バッチ全体の統計量を使う」→ BN
- ❌ 「各サンプルの全特徴をまとめる」→ LN
- ⭕ 「画像ごと・チャネルごと」→ IN
- ❌ 「特徴量間の相関をなくす」→ 白色化
また、INは入力画像を0〜1へ変換する前処理の正規化とは別物です。
まとめ(試験直前用)
- IN=1サンプル・1チャネルごと
- 空間方向の平均・分散を使う
- バッチ統計に依存しない
- スタイル変換・画像生成でよく使われる
BN・LN・INの比較もあわせて確認すると整理しやすいです。
参考資料(原論文)
- Instance Normalization: The Missing Ingredient for Fast Stylization|arXiv
- Ulyanov・Vedaldi・Lempitsky(2016)によるInstance Normalizationの原論文です。Batch NormalizationをInstance Normalizationへ置き換えることで画像スタイル変換の品質改善を示しています。
- Layer Normalization|arXiv
- Layer Normalizationとの正規化軸の違いを確認する比較資料として有用です。