最終更新日：2026年8月26日
gk nlp transformer attention
G検定トップ
＞ GPT（自己回帰モデル）とは？G検定対策
まず結論
GPT（Generative Pre-trained Transformer）は、TransformerのDecoder型構造を使う自己回帰言語モデルです。
G検定では、
これまでのトークン → 次のトークンを予測
という因果的な予測方向を押さえます。
BERTのMLMとは、主な事前学習の考え方が異なります。
直感的な説明
GPTは、文章の続きを1トークンずつ作るイメージです。
今日は 天気が
↓
よい
↓
ので
↓
散歩に
次を予測するとき、通常は未来側のトークンを見ないようにマスクします。
定義・仕組み
GPT系モデルの基本的な特徴は次のとおりです。
| 観点 | GPT |
|---|---|
| 基本構造 | Decoder型Transformer |
| 文脈 | それまでのトークン |
| 学習目的 | 次トークン予測 |
| 代表的な強み | 文章生成・補完 |
このように、前までの出力を条件に次を予測するため、自己回帰と呼ばれます。
いつ使う？（得意・不得意）
GPT系は、文章生成、要約、対話、コード補完などの生成タスクで広く使われます。
ただし、
- もっともらしい誤情報を生成することがある
- 事実性や根拠は別途確認が必要
- 「生成向き」と「理解できない」は同義ではない
という点には注意します。
G検定ひっかけポイント
GPTとBERT
- 「双方向・MLM・Encoder型」→ BERT
- 「自己回帰・次トークン予測・Decoder型」→ GPT
「GPT＝一方向だから文理解はできない」
極端な説明です。試験では学習方式と構造の違いを中心に見ます。
GPTはMLMで事前学習する？
基本的なGPTの説明としては誤りです。MLMはBERT側の代表的な学習目的です。
まとめ（試験直前用）
- GPT＝Decoder型Transformer
- 自己回帰で次トークンを予測
- 未来側を見ない因果的な文脈を使う
- 文章生成が代表的な用途
- BERTのMLMとは学習方式が異なる