最終更新日:2026年10月19日
gk attention transformer
まず結論
Self-Attentionは、Q・K・Vを同じ入力系列から作り、その系列の各位置の情報を混ぜ合わせるAttentionです。
ここでは「同じ系列から作る」と「同じ値になる」の違いを、2語の例で確認します。Q・K・Vの共通原理や別系列を参照する場合はAttention一般の仕組みで整理できます。
直感的な説明
cat sleeps(猫が眠る)という系列で、sleepsの表現を更新するとします。sleepsだけを見るのではなく、catの情報も取り込めば、「何が眠るのか」という文中の関係を反映できます。
Selfは「自分自身の単語だけを見る」という意味ではありません。自分が属する系列の中を参照するという意味です。
定義・仕組み
Q・K・Vの出所
| 役割 | この例での由来 | 使い方 |
|---|---|---|
| Query | sleepsの表現から変換 | 今回どこを参照するかを問い合わせる |
| Key | cat・sleepsそれぞれの表現から変換 | Queryと照合する |
| Value | cat・sleepsそれぞれの表現から変換 | 重みに応じて取り込む情報 |
同じ入力系列に別々の変換をかけるので、Q=K=Vという同一の数値になるわけではありません。
重み付きで情報を集める例
説明を簡単にするため、次のValueと参照重みを仮に用意します。実際の学習済みモデルの値ではなく、QとKから重みを求め終えた後の計算例です。
| 参照する語 | Valueの例 | 参照重み | 重みを掛けた情報 |
|---|---|---|---|
| cat | [1, 0] | 0.25 | [0.25, 0] |
| sleeps | [0, 1] | 0.75 | [0, 0.75] |
足し合わせると、このAttentionの集約結果は [0.25, 0.75] になります。sleepsの位置に対して、cat由来の情報も混ぜるのが見るポイントです。Transformer層の最終出力には、この後の変換や残差接続なども関係します。
重みが変わる様子を操作したい場合は、Attentionの単語選択デモで、Queryを変えたときの参照先を確認できます。
いつ使う?(得意・不得意)
Transformerで、系列の各位置から他の位置の情報を直接取り込みたいときに使います。標準的な全結合型のSelf-Attentionでは、系列長が増えると計算量やメモリ使用量が増えやすくなります。
系列内の各位置の計算はまとめて行えますが、GPTのような自己回帰生成では、新しいトークンの生成自体は順番に進みます。
G検定ひっかけポイント
- 「Selfだから自分の語しか参照しない」→ 同じ系列の別の位置も参照する。
- 「同じ系列から作るのでQ・K・Vの値は同じ」→ 変換が異なるため、同値とは限らない。
- 「必ず未来を含むすべての語を見る」→ Causal Maskなどで範囲を制限できる。
- 「語順を考えなくてよい」→ 位置情報の扱いも必要。直接参照できることと、位置を無視することは別。
- 「参照重みの計算と、単語の出現回数は同じ」→ BoW/TF-IDFとは別の仕組み。
まとめ(試験直前用)
- Self-Attentionは同じ系列からQ・K・Vを作る
- QとKで求めた重みを使い、Vを集約する
- 同じ系列から作ってもQ・K・Vは同じ値とは限らない
- 参照範囲はマスクによって変わる
参考資料(原論文)
- Attention Is All You Need|NeurIPS
- Vaswaniら(2017)によるTransformerの原論文です。同じ系列内の要素同士をQuery・Key・Valueで関連付けるSelf-Attentionを中核として扱っています。