最終更新日:2026年9月23日
gk transformer attention
まず結論
Transformerの基本構造では、EncoderとDecoderが異なる役割を持ちます。
- Encoder:入力系列から文脈を含む表現を作る
- Decoder:これまでの出力などを条件に次の出力を作る
G検定では、代表例として、
- BERT → Encoder系
- GPT → Decoder型
- 原典の機械翻訳Transformer → Encoder + Decoder
を切り分けます。
直感的な説明
機械翻訳を例にすると、
- Encoder → 翻訳元の文章を表現に変換する
- Decoder → その表現と、これまでに生成した語を使って翻訳文を作る
という役割です。
「読む=Encoder、書く=Decoder」という覚え方は入口として便利ですが、Encoderは理解専用、Decoderは生成以外に使えないと絶対視しないようにします。
定義・仕組み
Encoder
Encoderでは、主に、
- Self-Attention
- Feed Forward Network
- 残差接続
- Layer Normalization
などを使って入力系列を文脈化します。
BERTは代表的なEncoder系モデルです。
Decoder
原典TransformerのDecoderでは、
- 未来を見ないMasked Self-Attention
- Encoder出力を参照するAttention
- Feed Forward Network
などを使って出力系列を生成します。
GPT系は、EncoderとのCross-Attentionを持たないDecoder-only Transformerとして考えるのが基本です。
マスクの役割
文章生成では、まだ生成していない未来のトークンを答えとして見てしまわないようにします。
そのためDecoder型の自己回帰モデルでは、未来側を隠すCausal Maskが重要です。
いつ使う?(得意・不得意)
代表的な整理は次のとおりです。
| 構成 | 代表例 | 典型的な用途 |
|---|---|---|
| Encoder-only | BERT | 分類、抽出、文脈表現 |
| Decoder-only | GPT | 自己回帰生成 |
| Encoder-Decoder | 原典Transformer、T5系など | 翻訳、入力から出力系列を作るタスク |
これは代表的な傾向であり、用途を完全に固定する分類ではありません。
G検定ひっかけポイント
Encoder=生成できない?
❌ Encoderは生成に一切使えない
⭕ Encoderは主に表現を作り、生成システムの一部として使われることもある
Decoder=必ずEncoderを見る?
❌ Decoderは常にEncoder出力を参照する
⭕ GPTのようなDecoder-onlyモデルもある
Decoder=双方向?
❌ 自己回帰生成で未来のトークンも参照する
⭕ Causal Maskで未来側を見ないようにする
BERT / GPT
- BERT → Encoder系
- GPT → Decoder型
ただし、これは代表的な構造の違いとして覚えます。
まとめ(試験直前用)
- Encoder=入力から文脈表現を作る
- Decoder=条件に基づいて出力系列を作る
- BERT=Encoder系
- GPT=Decoder-only系
- 原典Transformer=Encoder + Decoder
- Decoder-onlyではEncoderは不要
- 自己回帰生成ではCausal Maskに注意