Skip to the content.

最終更新日:2026年10月19日

まず結論

RNN Encoder-Decoder(Seq2Seq)は、

  • Encoder:入力系列を読み取る
  • Decoder:条件付けられた出力系列を生成する

という2つの系列モデルを組み合わせる構造です。

初期のSeq2Seqでは、入力系列を固定次元のベクトルへまとめてDecoderへ渡しました。

Encoder-Decoderは、入力を表現へ変換する側と、その表現から出力を作る側を組み合わせる構造の総称です。この記事では、そのうちRNNで系列を別の系列へ変換する構造を扱います。Encoder-Decoder一般がRNNやSeq2Seqだけを意味するわけではありません。

直感的な説明

機械翻訳なら、

日本語を最後まで読んで表現へまとめる → その表現から英語を1語ずつ生成する

イメージです。

入力と出力の長さが同じである必要はありません。

定義・仕組み

Encoder

入力系列を順番に処理し、文脈を表す内部表現へ変換します。

Decoder

Encoderの表現を条件として、出力系列を1ステップずつ生成します。

初期のRNN Encoder-Decoderでは、入力を1つの固定長ベクトルへ圧縮することがボトルネックになりました。

EncoderやDecoderのRNNには、LSTMやGRUが使われます。入力系列と出力系列は、同じ長さである必要はありません。

Attentionへの発展

Attention付きEncoder-Decoderでは、Decoderが出力の各時刻でEncoder側の複数の状態を重み付きで参照できます。

そのため、すべてを1つの固定長ベクトルへ押し込む必要がなくなります。

いつ使う?(得意・不得意)

代表例は、

  • 機械翻訳
  • 要約
  • 音声認識
  • 系列→系列変換

です。

初期RNN Seq2Seqでは長い系列や逐次計算が課題になり、AttentionやTransformerへ発展しました。

G検定ひっかけポイント

Seq2Seq=Attention?

❌ Seq2Seqは必ずAttentionを使う
⭕ 初期Seq2Seqは固定長表現で、Attentionは後から導入された拡張

Seq2Seq=Transformer?

❌ RNN Encoder-Decoderの別名
⭕ Transformerも系列変換に使えるが、再帰を使わない別アーキテクチャ

Encoder-Decoderは画像には使わない?

誤りです。たとえばU-NetにもEncoderとDecoderがあります。画像の構造と、この記事で扱うRNNの系列変換を分けて考えます。

時系列データを使うだけでSeq2Seqと決まるわけでもありません。過去のデータから1つの値を予測する場合と、出力系列を生成する場合では目的が異なります。翻訳という用途名だけで、必ずRNNを使うとも判断しません。

Teacher Forcing

学習時に正解トークンを次のDecoder入力へ使うTeacher Forcingは、Seq2Seqの構造そのものとは別概念です。

まとめ(試験直前用)

  • Seq2Seq=系列→系列
  • EncoderとDecoder
  • 初期型は固定長ベクトル
  • Attentionで入力各位置を参照可能
  • TransformerはRNNなしの別構造
  • Teacher Forcingは学習時の工夫

参考資料

© 2024-2026 stemtazoo. All rights reserved.