最終更新日：2026年8月26日

gk nlp transformer cheatsheet

G検定トップ ＞ BERTとGPTの違い【比較チートシート｜G検定対策】

まず結論

BERTとGPTは、どちらもTransformer系ですが、構造と代表的な事前学習の方法が違います。

観点 BERT GPT
基本構造 Encoder型 Decoder型
文脈 前後を利用 過去側を利用
代表的な学習 MLM 次トークン予測
代表的な用途 分類・抽出など 生成・補完など

G検定では、理解か生成かという用途だけでなく、構造・学習目的を見るのが安全です。

直感的な説明

BERTは、文中のある位置を理解するときに前後の文脈をまとめて参照するモデルです。

GPTは、それまでの文脈から次のトークンを順に予測するモデルです。

この違いが、MLMと自己回帰型の次トークン予測の違いにつながります。

定義・仕組み

BERT

  • Transformer Encoder型
  • 文中の前後の文脈を利用
  • 代表的な事前学習目的はMLM
  • 原版BERTではNSPも使用

GPT

  • Transformer Decoder型
  • 未来側を見ない因果的なAttentionを使用
  • 次トークン予測で事前学習
  • 自己回帰的に文章を生成できる

いつ使う？（得意・不得意）

試験対策では次の代表的な役割で整理できます。

  • 文書分類・固有表現抽出など → BERT系が代表例
  • 文章生成・補完・対話など → GPT系が代表例

ただし、BERT＝理解しかできない、GPT＝生成しかできないと断定するのは避けます。現代のモデルでは用途が広がっているため、構造と学習方式を優先して判断します。

G検定ひっかけポイント

  • 「前後の文脈・MLM・Encoder」→ BERT
  • 「自己回帰・次トークン予測・Decoder」→ GPT
  • 「GPTはMLMが中心」→ 誤り
  • 「BERTは左から右へ次の語を順に生成するモデル」→ 基本説明として誤り
  • 「理解＝BERT、生成＝GPT」は代表用途の覚え方であり絶対ルールではない

まとめ（試験直前用）

  • BERT：Encoder型・前後の文脈・MLM
  • GPT：Decoder型・因果的文脈・次トークン予測
  • 用途だけでなく構造と学習目的を見る
  • 「双方向 vs 自己回帰」で切り分ける

© 2024-2026 stemtazoo. All rights reserved.