最終更新日:2026年9月24日
gk cnn
まず結論
DenseNetは、各層がそれ以前のすべての層の特徴マップを連結(concatenate)して受け取るCNNです。
G検定では、
- ResNet → 加算
- DenseNet → 連結
で切り分けます。
直感的な説明
ResNetは、元の情報を近道経路から足し合わせる設計です。
DenseNetは、それまでに作られた特徴を別々のチャネルとして連結し、後段へ渡す設計です。
足す → ResNet
つなげて並べる → DenseNet
と覚えると分かりやすくなります。
定義・仕組み
Dense block内では、ある層への入力として、それ以前の層の出力をconcatenateします。
これにより、
- 初期層の特徴を後段で再利用しやすい
- 各層までの情報・勾配経路を短くできる
- 比較的小さなgrowth rateでも多様な特徴を蓄積できる
という特徴があります。
Growth Rate
各層が新しく追加する特徴マップ数をgrowth rateと呼びます。
DenseNetでは既存特徴を再利用するため、各層で大量の新規チャネルを作らなくても表現を増やせます。
いつ使う?(得意・不得意)
DenseNetは画像分類などで提案されたCNNです。
一方、特徴マップを連結して保持するため、
- メモリ使用量
- 実装上のデータ移動
が課題になる場合があります。
G検定ひっかけポイント
DenseNet=ResNet?
❌ どちらも加算
⭕ ResNetは加算、DenseNetはconcatenate
勾配消失
❌ DenseNetなら勾配消失が完全になくなる
⭕ 短い接続経路によって勾配伝播を助ける
Dense=全結合層?
❌ Fully Connected LayerのDense
⭕ 層同士が密に接続されるDense Connection
まとめ(試験直前用)
- DenseNet=Dense Connection
- 過去の特徴をconcatenate
- ResNet=加算
- 特徴再利用
- growth rate
- 勾配伝播を助けるが万能ではない