最終更新日:2026年9月24日
gk attention transformer
まず結論
BERTはTransformer Encoderを使い、Self-Attentionによって各トークン位置の関係を直接扱います。
G検定では、
- 再帰なし
- Self-Attention
- 学習時に並列化しやすい
- 左右の文脈を利用
を押さえます。
直感的な説明
RNNは隠れ状態を時刻順に渡します。
Transformer Encoderは、系列内の各位置から他の位置へAttentionを計算します。
そのため、あるトークンが離れたトークンを参照するとき、RNNのように多数の再帰ステップを経由する必要がありません。
定義・仕組み
RNN
前時刻の隠れ状態から次時刻を計算するため、系列方向に依存関係があります。
LSTMやGRUは長期依存を扱いやすくする工夫を持ちます。
したがって、
RNNは長文を扱えない
とは言いません。
Transformer Encoder
Self-Attentionにより、各位置間の関係を直接計算します。
学習時には系列内の多くの位置をまとめて計算しやすい一方、Attentionの計算量は系列長に応じて大きくなるという別の課題があります。
BERT
原版BERTはTransformer Encoderを重ね、MLMなどで事前学習します。
MLMでは左右の文脈を利用してマスク位置を予測します。
いつ使う?(得意・不得意)
BERT系は文脈表現、分類、抽出、質問応答などで利用されます。
RNNとTransformerは単純な優劣ではなく、計算資源・系列長・タスクによって使い分けます。
G検定ひっかけポイント
BERT=RNN改良版?
❌ 再帰型ネットワーク
⭕ Transformer Encoderベース
Transformer=完全に計算量が少ない?
❌ 系列が長くても常に軽量
⭕ 並列化しやすいがAttention計算量は別論点
RNN=長距離依存を一切扱えない?
❌ 不可能
⭕ 難しさがあり、LSTM/GRUなどで改善されてきた
まとめ(試験直前用)
- BERT=Transformer Encoder
- Self-Attention
- 再帰なし
- 学習時に並列化しやすい
- MLMで左右文脈を利用
- RNNとの比較は固定順位で覚えない