---
title: "GPT（自己回帰モデル）とは？G検定対策"
description: "GPTを、Transformer Decoderの考え方を使う自己回帰型モデルとして整理します。BERTの双方向・MLMとの違い、次単語予測、文章生成で問われる特徴、自己教師あり学習やDecoder構造との関係、G検定で「一方向・生成」か「双方向・理解」かを見分ける判断軸を確認できます。"
last_modified_at: "2026-07-14"
canonical_url: "https://stemtazoo.github.io/gk/gpt/"
section: "gk"
---

## まず結論

* **GPT（Generative Pre-trained Transformer）**は、[Transformer](https://stemtazoo.github.io/gk/transformer/)の**Decoder側の考え方**を使い、これまでの単語から**次の単語を予測する自己回帰モデル**です。
* G検定では、**GPT＝一方向・次単語予測・生成向き**、**[BERT](https://stemtazoo.github.io/gk/bert/)＝双方向・MLM・理解向き**で切り分けます。

## 直感的な説明

GPTは、文章の続きを1語ずつ書いていくモデルです。

> 「今日はとても天気がよいので」

という文があれば、GPTは**すでに左側に出ている単語**を手がかりに、次に来そうな語を予測します。

* 未来の単語は見ない
* 左から右へ順番に生成する
* 生成した語を次の予測の手がかりにする

この「前に出た結果を使って次を出す」性質が、自己回帰です。

## 定義・仕組み

GPTは、ラベルなしの大量テキストから「次の単語を当てる」タスクで事前学習します。[Transformer](https://stemtazoo.github.io/gk/transformer/)のSelf-Attentionを使いますが、生成時に未来の単語を見ないようにするため、**一方向の文脈**だけを使う点が特徴です。

G検定で押さえる構造は次の3点です。

| 観点 | GPTの特徴 |
|---|---|
| モデルの向き | 一方向（左から右） |
| 学習タスク | 次単語予測 |
| 得意分野 | 文章生成、要約、対話、補完 |

[BERT](https://stemtazoo.github.io/gk/bert/)のように文中の単語を隠して前後から当てる **Masked Language Model（MLM）** ではありません。

## いつ使う？（得意・不得意）

### 得意なこと

* 文章生成
* 要約や言い換え
* チャットボット
* コードや文章の補完

### 苦手・注意点

* もっともらしいが誤った内容を生成することがある
* 事実確認や根拠提示は別途必要になる
* [BERT](https://stemtazoo.github.io/gk/bert/)型モデルのような穴埋め・文理解タスクと同じものではない

## G検定ひっかけポイント

GPTは、BERTやMLMとの混同が狙われます。

| 問題文のキーワード | 判断 |
|---|---|
| 一方向、自己回帰、次単語予測 | GPT |
| 双方向、前後の文脈、MLM | [BERT](https://stemtazoo.github.io/gk/bert/) |
| Encoderのみ | BERT寄り |
| Decoder、生成、左から右 | GPT寄り |

特に、**「GPTはMasked Language Modelで事前学習する」**という説明は誤りです。GPTは「穴埋め」ではなく、**これまでの文脈から次を予測する生成型**として覚えます。

## まとめ（試験直前用）

* GPT＝一方向の自己回帰モデル
* 事前学習は次単語予測
* Transformer Decoder側の考え方を使う
* 文章生成が得意
* 「双方向」「MLM」「穴埋め」はBERT側のキーワード

次に読むなら、双方向モデルの[BERT](https://stemtazoo.github.io/gk/bert/)と、両者の基盤となる[Transformer](https://stemtazoo.github.io/gk/transformer/)を確認しましょう。