Skip to the content.

最終更新日:2026年10月4日

まず結論

BERT(Bidirectional Encoder Representations from Transformers)は、Transformer Encoderを使い、各位置の表現を左右の文脈から作る事前学習モデルです。

G検定では、

  • Transformer Encoder
  • Masked Language Model(MLM)
  • 双方向の文脈
  • 事前学習→下流タスクへ適応

を押さえます。

先に判断基準

  • Transformer Encoder+MLM+左右の文脈 → BERT
  • 左から右へ次トークンを生成 → BERTの代表的な事前学習ではない
  • NSP → 原版BERTでは使用。ただしBERT系すべての必須条件ではない

迷ったら、「Encoder型か」「何を予測して学習するか」を先に見ます。

直感的な説明

たとえば「bank」という語が、

  • I deposited money at the bank.
  • We sat on the river bank.

に現れた場合、同じ単語でも周囲の文脈によって意味が違います。

BERTは文章中の前後関係を利用し、その位置での文脈依存表現を作ります。

定義・仕組み

Transformer Encoder

BERTはTransformer Encoderを積み重ねた構造です。

自己回帰生成モデルのように未来側を常に隠すのではなく、基本的に左右の文脈を利用します。

Masked Language Model(MLM)

入力中の一部のトークンを予測対象にし、前後の文脈から元のトークンを予測します。

詳しくはMLMで整理しています。

Next Sentence Prediction(NSP)

原版BERTでは、MLMに加えてNSPも事前学習に使われました。

ただし、後続のBERT系モデルではNSPを使わない設計もあるため、

BERT系モデルは必ずNSPを使う

とは覚えません。

いつ使う?(得意・不得意)

BERT系は代表的に、

  • 文書分類
  • 固有表現抽出
  • 質問応答
  • 文脈表現の取得

などに利用されます。

BERTを「理解専用」と絶対視するより、Encoder型・MLM・文脈依存表現という構造と学習目的で判断するのが安全です。

G検定ひっかけポイント

BERT=次トークン予測?

❌ 左から右へ次の語を順番に予測するのが基本
⭕ 原版BERTの代表的事前学習はMLM

BERT=NSP必須?

❌ BERT系ならすべてNSPを使う
⭕ 原版BERTでは使用。後続モデルでは使わない例もある

BERT=固定単語Embedding?

❌ 同じ単語は常に同じ最終表現
⭕ 文脈に応じて各位置の表現が変わる

まとめ(試験直前用)

  • BERT=Transformer Encoder
  • 左右の文脈を利用
  • MLMが代表的事前学習
  • 原版BERTではNSPも使用
  • 文脈依存表現
  • GPTとは構造と学習目的で切る

参考資料

© 2024-2026 stemtazoo. All rights reserved.