最終更新日:2026年9月24日
gk attention transformer
まず結論
位置エンコーディング(Positional Encoding)は、Transformerへトークンの順序・位置情報を与える仕組みです。
重要なのは、
Self-Attentionそのものには、入力順序を自動的に区別する仕組みがない
という点です。
直感的な説明
同じ単語集合でも、
- 犬が人を追う
- 人が犬を追う
では意味が変わります。
Attentionだけでは「何番目にあるか」を別途与える必要があるため、位置情報を追加します。
定義・仕組み
原典Transformerでは、sin/cosを使う固定Positional Encodingをトークン埋め込みへ加えました。
その後、
- 学習可能な位置Embedding
- 相対位置表現
- Rotary Position Embedding(RoPE)
など、さまざまな方法が使われています。
したがって、
Transformerの位置情報=必ずsin/cos
ではありません。
いつ使う?(得意・不得意)
Transformer系で順序や相対位置を扱うために重要です。
RNNは再帰によって順序を構造的に持ちますが、Transformerでは位置情報を別の形で与えます。
G検定ひっかけポイント
Transformerは順序を一切扱えない?
❌ 順序情報を利用できない
⭕ 位置情報を与えることで扱う
位置情報=必ずsin/cos?
❌ 全Transformerで固定
⭕ 原典ではsin/cos。学習型や相対位置などもある
まとめ(試験直前用)
- 位置エンコーディング=順序・位置情報
- Self-Attentionだけでは順序を区別できない
- 原典Transformerはsin/cos
- 学習可能・相対位置などもある
- 「順序を補う仕組み」で切る