最終更新日:2026年10月19日
gk neural_network attention
まず結論
Attention(注意機構)は、入力の中からどの情報をどれくらい参照するかを重み付けする仕組みです。
ここではQとKで重みを求め、Vを集める共通の仕組みと参照範囲を扱います。同じ系列の情報が混ざる具体例はSelf-Attentionで確認できます。
G検定では、
- Query(Q)
- Key(K)
- Value(V)
- Self-Attention
を押さえます。
AttentionはRNNそのものではなく、RNNと組み合わせることも、TransformerのようにAttentionを中心に構成することもできます。
直感的な説明
文章を読んで質問に答えるとき、すべての単語を同じ重要度では見ません。
たとえば、
「昨日買った赤い車はどこにある?」
という文で「何の色?」と聞かれれば、「赤い」に強く注目します。
Attentionは、この注目度を数値の重みとして計算するイメージです。
定義・仕組み
Query / Key / Value
Attentionでは、代表的に次の3つを使います。
- Query:何を探しているか
- Key:各情報が何を表しているか
- Value:実際に取り出す情報
QueryとKeyの対応から重みを計算し、その重みに応じてValueを集約します。
QとKで「どこを見るか」を決め、Vから情報を集める
と覚えると分かりやすいです。
Self-Attention
Self-Attentionでは、Q・K・Vを同じ入力系列から作ります。
これにより、系列中の要素同士の関係を扱えます。
Self-AttentionはTransformerの中核技術です。
同じ系列か、別の系列か
| 種類 | Queryの由来 | Key・Valueの由来 |
|---|---|---|
| Self-Attention | 同じ系列の各位置 | 同じ系列の各位置 |
| Encoder-Decoder Attention(Cross-Attention) | Decoder側の表現 | Encoder側の出力 |
Q・K・Vの役割は共通でも、情報の出所は異なります。Attention全体をSelf-Attentionの別名とは考えません。
参照範囲はマスクに依存する
Attentionだからといって、必ず系列全体を自由に参照するわけではありません。
たとえばGPT系では、未来のトークンを参照しないようにCausal Maskを使います。
一方、BERT系のEncoderでは、基本的に左右の文脈を利用します。
操作して確認:どの単語に注目する?
以下は同じ系列を参照するSelf-Attentionの例です。Queryにする単語を選ぶと、各単語への参照重みが変わります。数値は仕組みを理解するための例示で、実際のモデルが計算した値ではありません。
昨日 5% / 買った 10% / 赤い 65% / 車 20%
QとKから重みを求め、Vを重み付きで集約します。
重みは合計100%。Self-Attentionでは同じ系列からQ・K・Vを作ります。マスクがあれば参照できる範囲は制限されます。
いつ使う?(得意・不得意)
Attentionは、
- 機械翻訳
- 文章理解
- 文章生成
- 画像認識
- マルチモーダル
など幅広く使われます。
長距離の関係を直接参照しやすい一方、標準的なSelf-Attentionでは系列長が大きくなると計算量・メモリ使用量が増えやすくなります。
G検定ひっかけポイント
Attention=RNN?
❌ AttentionはRNNの一種
⭕ RNNと組み合わせることもできる独立した仕組み
Attention=必ず全情報を見る?
❌ 常に未来を含む系列全体を参照する
⭕ マスクによって参照できる範囲を制限できる
Q / K / V
- Q → 何を探すか
- K → 何を持っているか
- V → 実際に取り出す情報
Self-Attention
❌ 別の系列だけを参照する仕組み
⭕ 同じ系列内の要素同士の関係を扱う
まとめ(試験直前用)
- Attention=情報への注目度を重み付け
- QとKから重みを計算
- Vを重み付きで集約
- Self-Attention=同じ系列内の関係
- Transformerの中核技術
- 参照範囲はマスク・構造に依存する
参考資料(原論文)
- Neural Machine Translation by Jointly Learning to Align and Translate|arXiv
- Bahdanau・Cho・Bengioによる初期の代表的なAttention論文です。出力時に入力系列の関連部分へ重みを付ける仕組みを提案しています。
- Attention Is All You Need|NeurIPS
- Vaswaniら(2017)。Query・Key・Valueを用いるScaled Dot-Product AttentionとMulti-Head Attentionを中核にTransformerを提案しています。