最終更新日:2026年9月26日
gk neural_network attention transformer
まず結論
3つは役割が違います。
- Attention → 情報を重み付きで参照する仕組み
- Transformer → Attentionを主要構成要素とするアーキテクチャ
- BERT → Transformer Encoderを使う具体的な事前学習モデル
G検定では、仕組み・構造・モデルで切ります。
直感的な説明
Attentionは「どの情報をどれだけ参照するか」を決める部品です。
Transformerは、そのAttentionを中心に、
- FFN
- 正規化
- 残差接続
- 位置情報
などを組み合わせたアーキテクチャです。
BERTはそのTransformer Encoderを使って作られた具体的なモデルです。
定義・仕組み
Attention
RNNなどTransformer以外の構造でも利用できます。
Transformer
Self-Attentionを中心に系列要素間の関係を扱います。
BERT
原版BERTはTransformer Encoderを積み重ね、MLMなどで事前学習します。
したがって、
Attention ⊂ Transformer ⊂ BERT
という集合の包含関係として覚えるのは不正確です。
いつ使う?(得意・不得意)
問題文で、
- 重み付き参照 → Attention
- Encoder / Decoder・Self-Attention中心の構造 → Transformer
- MLM・双方向文脈・Encoder型 → BERT
を見ます。
G検定ひっかけポイント
Attention=モデル?
❌ 必ず単独モデル名
⭕ 仕組み・構成要素
Transformer=BERT?
❌ 同義
⭕ Transformerはアーキテクチャ、BERTは具体モデル
BERT=Attentionだけ?
❌ Attentionのみで構成
⭕ FFN・残差接続・正規化なども含む
まとめ(試験直前用)
- Attention=仕組み
- Transformer=アーキテクチャ
- BERT=具体モデル
- AttentionはTransformer以外でも利用可能
- 単純な包含関係で覚えない
- 役割の粒度で切る
参考資料(原論文)
- Neural Machine Translation by Jointly Learning to Align and Translate|arXiv
- Attentionの代表的な初期論文です。
- Attention Is All You Need|NeurIPS
- Vaswaniら(2017)によるTransformerの原論文です。Self-AttentionとMulti-Head Attentionを中核にしています。
- BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding|ACL Anthology
- Devlinら(NAACL 2019)によるBERTの原論文です。Transformer Encoderを使った双方向の事前学習モデルを提案しています。