最終更新日:2026年10月19日
gk rnn nlp
まず結論
RNN Encoder-Decoder(Seq2Seq)は、
- Encoder:入力系列を読み取る
- Decoder:条件付けられた出力系列を生成する
という2つの系列モデルを組み合わせる構造です。
初期のSeq2Seqでは、入力系列を固定次元のベクトルへまとめてDecoderへ渡しました。
Encoder-Decoderは、入力を表現へ変換する側と、その表現から出力を作る側を組み合わせる構造の総称です。この記事では、そのうちRNNで系列を別の系列へ変換する構造を扱います。Encoder-Decoder一般がRNNやSeq2Seqだけを意味するわけではありません。
直感的な説明
機械翻訳なら、
日本語を最後まで読んで表現へまとめる → その表現から英語を1語ずつ生成する
イメージです。
入力と出力の長さが同じである必要はありません。
定義・仕組み
Encoder
入力系列を順番に処理し、文脈を表す内部表現へ変換します。
Decoder
Encoderの表現を条件として、出力系列を1ステップずつ生成します。
初期のRNN Encoder-Decoderでは、入力を1つの固定長ベクトルへ圧縮することがボトルネックになりました。
EncoderやDecoderのRNNには、LSTMやGRUが使われます。入力系列と出力系列は、同じ長さである必要はありません。
Attentionへの発展
Attention付きEncoder-Decoderでは、Decoderが出力の各時刻でEncoder側の複数の状態を重み付きで参照できます。
そのため、すべてを1つの固定長ベクトルへ押し込む必要がなくなります。
いつ使う?(得意・不得意)
代表例は、
- 機械翻訳
- 要約
- 音声認識
- 系列→系列変換
です。
初期RNN Seq2Seqでは長い系列や逐次計算が課題になり、AttentionやTransformerへ発展しました。
G検定ひっかけポイント
Seq2Seq=Attention?
❌ Seq2Seqは必ずAttentionを使う
⭕ 初期Seq2Seqは固定長表現で、Attentionは後から導入された拡張
Seq2Seq=Transformer?
❌ RNN Encoder-Decoderの別名
⭕ Transformerも系列変換に使えるが、再帰を使わない別アーキテクチャ
Encoder-Decoderは画像には使わない?
誤りです。たとえばU-NetにもEncoderとDecoderがあります。画像の構造と、この記事で扱うRNNの系列変換を分けて考えます。
時系列データを使うだけでSeq2Seqと決まるわけでもありません。過去のデータから1つの値を予測する場合と、出力系列を生成する場合では目的が異なります。翻訳という用途名だけで、必ずRNNを使うとも判断しません。
Teacher Forcing
学習時に正解トークンを次のDecoder入力へ使うTeacher Forcingは、Seq2Seqの構造そのものとは別概念です。
まとめ(試験直前用)
- Seq2Seq=系列→系列
- EncoderとDecoder
- 初期型は固定長ベクトル
- Attentionで入力各位置を参照可能
- TransformerはRNNなしの別構造
- Teacher Forcingは学習時の工夫