gk neural_network cnn
G検定トップ
> LeNetとは?【G検定対策】
まず結論
- LeNetとは、Yann LeCunらが開発した初期の畳み込みニューラルネットワークで、手書き数字認識に用いられました。
- 代表的なLeNet-5は1998年に発表され、畳み込み・サブサンプリング・全結合という、現代CNNにつながる基本構造を示しました。
直感的な説明
LeNetは、画像全体を一度に覚えるのではなく、
- 小さな範囲から線や角を見つける
- 特徴を少し圧縮する
- 特徴を組み合わせて数字を判定する
という流れで画像を認識します。
たとえば手書きの「8」なら、
- 曲線
- 上下の輪
- 輪郭のつながり
を段階的に捉え、最後に「8らしい」と判断します。
定義・仕組み
LeNet-5は、主に次の層を組み合わせた構造です。
畳み込み層
画像の小さな領域を見て、線や角などの局所的な特徴を抽出します。
ここでは、
- 局所受容野:画像全体ではなく一部分を見る
- 重み共有:同じフィルタを画像の別の場所でも使う
という考え方が重要です。
重み共有により、必要なパラメータ数を抑えながら、画像内のどこにある特徴でも検出できます。
サブサンプリング層
特徴マップを小さくまとめます。 現代CNNのプーリング層に近い役割です。
- 計算量を減らす
- 少しの位置ずれに強くする
という効果があります。
全結合層
抽出した特徴を組み合わせ、最終的なクラスを判定します。
LeNetは正解ラベルを使う教師あり学習で学習し、誤差を前の層へ伝える誤差逆伝播法を用います。
いつ使う?(得意・不得意)
得意
- 手書き数字や文字の認識
- 小規模で比較的単純な画像分類
- CNNの基本構造を学ぶ
- CNNの発展史を理解する
不得意・注意点
- ImageNetのような大規模で複雑な画像認識
- 非常に深い特徴表現が必要な問題
- 高解像度画像を扱う現代的なタスク
LeNetは現在の大規模画像認識にそのまま使うというより、CNNの基礎を理解するために重要なモデルです。
G検定ひっかけポイント
LeNetとネオコグニトロン
- ネオコグニトロン:S細胞・C細胞、CNNの原型、誤差逆伝播が中心ではない
- LeNet:畳み込み・サブサンプリング・全結合、教師あり学習、誤差逆伝播
「手書き数字認識」「誤差逆伝播」ならLeNetです。 「S細胞・C細胞」ならネオコグニトロンです。
LeNetとAlexNet
- LeNet:小規模な手書き数字認識、初期CNN
- AlexNet:大規模画像認識、2012年のImageNetで注目
AlexNetの特徴である、
- ReLU
- Dropout
- GPUを使った大規模学習
をLeNetの説明として選ばないようにします。
年代の整理
LeNetには複数の発展段階があります。 初期研究は1980年代末から続き、代表的なLeNet-5は1998年に発表されました。
したがって、試験では単一の年だけを暗記するより、
ネオコグニトロンの後、AlexNetより前
という位置づけを押さえると安全です。
まとめ(試験直前用)
- LeNetはYann LeCunらによる初期CNN
- 代表的なLeNet-5は1998年
- 畳み込み・サブサンプリング・全結合で構成
- 教師あり学習と誤差逆伝播を用いる
- 「手書き数字・初期CNN・LeCun」ならLeNet