最終更新日:2026年9月23日
gk rnn attention transformer nlp
まず結論
Seq2Seq・Attention・Transformerは、次のように整理します。
- 初期RNN Seq2Seq:入力を固定長表現へまとめる
- Attention付きSeq2Seq:必要な入力位置を動的に参照
- Transformer:再帰を使わずAttentionを中心に系列を処理
G検定では、何を改善したかを見るのが重要です。
直感的な説明
初期Seq2Seq
全文を1つのメモへまとめてから出力するイメージです。
Attention
出力するときに、元の入力の必要な箇所を見返します。
Transformer
RNNで前から順に隠れ状態を渡す代わりに、Attentionで要素間の関係を直接計算します。
定義・仕組み
初期RNN Seq2Seq
Encoderが入力系列を固定次元ベクトルへ変換し、Decoderがそのベクトルから出力を生成します。
長い入力ほど1つの固定長表現がボトルネックになりやすい点が問題でした。
Attention
Decoderが出力時刻ごとに、Encoderの複数の状態へ異なる重みを付けて参照します。
これにより、入力全体を単一ベクトルだけで表す必要がなくなります。
Transformer
Transformerは、RNNの再帰を使わず、
- Self-Attention
- Encoder-Decoder Attention(構成による)
- Feed Forward Network
- 位置情報
などで構成されます。
学習時には系列内の多くの位置をまとめて計算しやすい一方、GPTのような自己回帰生成では出力は通常1トークンずつ生成します。
いつ使う?(得意・不得意)
このページでは性能順位ではなく、技術の役割を整理します。
- 固定長表現 → 初期Seq2Seqの制約
- 入力の各位置を参照 → Attention
- 再帰なし・Attention中心 → Transformer
G検定ひっかけポイント
Transformer=Self-Attentionだけ?
❌ Self-Attentionしか使わない
⭕ FFNや位置情報、構成によってCross-Attentionなども使う
Transformer=完全並列?
❌ 自己回帰生成時も全出力トークンを同時生成
⭕ 学習時は並列化しやすいが、自己回帰生成は逐次的
Attention=Transformer?
❌ 同義
⭕ Attentionは仕組み、Transformerはアーキテクチャ
まとめ(試験直前用)
- 初期Seq2Seq=固定長ベクトル
- Attention=必要な入力位置を重み付き参照
- Transformer=再帰なし・Attention中心
- AttentionとTransformerは同義ではない
- TransformerにはFFN・位置情報などもある
- 学習時の並列化と生成時の逐次性を分ける