Skip to the content.

最終更新日:2026年9月23日

まず結論

Vision Transformer(ViT)は、画像を小さなパッチに分割し、それぞれをトークンのように扱ってTransformer Encoderへ入力する画像認識モデルです。

G検定では、

  • 画像 → パッチ
  • Patch Embedding
  • 位置埋め込み
  • Self-Attention
  • Transformer Encoder

という流れを押さえます。

直感的な説明

CNNは、小さなフィルタを使って局所的な特徴を積み重ねます。

ViTは、画像をタイル状のパッチへ分け、

各パッチを単語のようなトークンとしてTransformerへ入力する

イメージです。

そのため、離れたパッチ同士の関係もSelf-Attentionで直接扱えます。

定義・仕組み

代表的なViTの流れは次のとおりです。

  1. 画像を固定サイズのパッチへ分割
  2. 各パッチをベクトルへ変換
  3. 位置埋め込みを加える
  4. Transformer Encoderで処理
  5. 分類ではCLSトークンなどの表現からクラスを予測

なぜ位置埋め込みが必要?

TransformerのAttentionだけでは、パッチが画像のどの位置にあったかを自動では表せません。

そのため位置情報を別途加えることが重要です。

CNNとの違い

観点 CNN ViT
基本処理 畳み込み Self-Attention
入力の扱い 画像の局所領域 パッチをトークン化
局所性 構造として強く持つ 学習から関係を獲得
長距離関係 層を重ねて広げる Attentionで直接扱える

いつ使う?(得意・不得意)

原論文では、大規模データで事前学習して転移することで、ViTが高い画像認識性能を示しました。

ただし、

ViTは必ず大規模データがないと使えない

と絶対視するのは避けます。

ViT以降、データ拡張や学習方法の改良も進んでいます。

G検定では、「大規模事前学習と相性がよいTransformer系画像モデル」という位置付けを押さえれば十分です。

G検定ひっかけポイント

ViT=CNN?

❌ 畳み込みフィルタを中心に画像を処理
⭕ 画像パッチをTransformer Encoderで処理

パッチ=クラス?

❌ 各パッチがそのまま分類結果になる
⭕ 各パッチをトークン表現へ変換してAttentionで関係を学ぶ

Decoderを使う?

❌ 基本ViTはTransformer Decoder中心
⭕ 原典ViTはEncoderを使う

ViTは常にCNNより高精度?

❌ どんなデータ・条件でも必ず上
⭕ 性能はデータ量・学習方法・モデル規模などに依存する

まとめ(試験直前用)

  • ViT=画像パッチをトークン化
  • Patch Embedding+位置情報
  • Transformer Encoderを利用
  • Self-Attentionでパッチ同士の関係を扱う
  • CNNは畳み込み、ViTはAttentionが中心
  • 「ViTが常にCNNより優れる」とは覚えない

参考資料

© 2024-2026 stemtazoo. All rights reserved.