最終更新日：2026年7月14日
gk nlp transformer attention
G検定トップ
＞ GPT（自己回帰モデル）とは？G検定対策
まず結論
- GPT（Generative Pre-trained Transformer）は、TransformerのDecoder側の考え方を使い、これまでの単語から次の単語を予測する自己回帰モデルです。
- G検定では、GPT＝一方向・次単語予測・生成向き、BERT＝双方向・MLM・理解向きで切り分けます。
直感的な説明
GPTは、文章の続きを1語ずつ書いていくモデルです。
「今日はとても天気がよいので」
という文があれば、GPTはすでに左側に出ている単語を手がかりに、次に来そうな語を予測します。
- 未来の単語は見ない
- 左から右へ順番に生成する
- 生成した語を次の予測の手がかりにする
この「前に出た結果を使って次を出す」性質が、自己回帰です。
定義・仕組み
GPTは、ラベルなしの大量テキストから「次の単語を当てる」タスクで事前学習します。TransformerのSelf-Attentionを使いますが、生成時に未来の単語を見ないようにするため、一方向の文脈だけを使う点が特徴です。
G検定で押さえる構造は次の3点です。
| 観点 | GPTの特徴 |
|---|---|
| モデルの向き | 一方向（左から右） |
| 学習タスク | 次単語予測 |
| 得意分野 | 文章生成、要約、対話、補完 |
BERTのように文中の単語を隠して前後から当てる Masked Language Model（MLM） ではありません。
いつ使う？（得意・不得意）
得意なこと
- 文章生成
- 要約や言い換え
- チャットボット
- コードや文章の補完
苦手・注意点
- もっともらしいが誤った内容を生成することがある
- 事実確認や根拠提示は別途必要になる
- BERT型モデルのような穴埋め・文理解タスクと同じものではない
G検定ひっかけポイント
GPTは、BERTやMLMとの混同が狙われます。
| 問題文のキーワード | 判断 |
|---|---|
| 一方向、自己回帰、次単語予測 | GPT |
| 双方向、前後の文脈、MLM | BERT |
| Encoderのみ | BERT寄り |
| Decoder、生成、左から右 | GPT寄り |
特に、「GPTはMasked Language Modelで事前学習する」という説明は誤りです。GPTは「穴埋め」ではなく、これまでの文脈から次を予測する生成型として覚えます。
まとめ（試験直前用）
- GPT＝一方向の自己回帰モデル
- 事前学習は次単語予測
- Transformer Decoder側の考え方を使う
- 文章生成が得意
- 「双方向」「MLM」「穴埋め」はBERT側のキーワード
次に読むなら、双方向モデルのBERTと、両者の基盤となるTransformerを確認しましょう。