最終更新日:2026年9月24日
gk attention transformer
まず結論
Multi-Head Attentionは、Query・Key・Valueを複数の表現部分空間へ射影し、複数のAttentionを並列に計算して、その結果を結合する仕組みです。
G検定では、
- 複数head
- Q / K / V
- 異なる線形射影
- concat
を押さえます。
直感的な説明
1つのAttentionだけで表現するのではなく、複数の小さなAttentionを同時に計算し、その結果をまとめます。
「複数の視点」と説明されることがありますが、
あるheadは必ず主語、別のheadは必ず目的語
のように、各headの意味的役割が事前に決まっているわけではありません。
定義・仕組み
代表的な流れは次の通りです。
- Q・K・Vをheadごとに異なる線形変換へ射影
- 各headでScaled Dot-Product Attentionを計算
- headの出力をconcat
- 最終線形変換を適用
原典Transformerでは、モデル全体の次元を複数headへ分割してAttentionを計算します。
そのため、
head数を増やせば計算量やパラメータが単純にhead数倍になる
とは限りません。
いつ使う?(得意・不得意)
Multi-Head AttentionはTransformerの主要構成要素です。
- Self-Attention
- Encoder-Decoder Attention
- Vision Transformerなど
で利用されます。
目的は単純な高速化ではなく、複数の表現部分空間でAttentionを計算できるようにすることです。
G検定ひっかけポイント
各headの役割
❌ headごとに文法役割が固定されている
⭕ 異なる射影空間でAttentionを学習する
head数
❌ 多いほど必ず高性能
⭕ 適切なhead数はモデル設計・タスク依存
パラメータ削減
❌ Multi-Head Attentionの主目的
⭕ 複数の表現部分空間で関係を捉えること
まとめ(試験直前用)
- Multi-Head=複数headでAttention
- Q / K / Vをheadごとに射影
- 各headを並列計算
- 出力をconcat
- headの役割は固定されていない
- 多いほど必ず良いわけではない