最終更新日:2026年10月4日
gk nlp transformer attention
まず結論
BERT(Bidirectional Encoder Representations from Transformers)は、Transformer Encoderを使い、各位置の表現を左右の文脈から作る事前学習モデルです。
G検定では、
- Transformer Encoder
- Masked Language Model(MLM)
- 双方向の文脈
- 事前学習→下流タスクへ適応
を押さえます。
先に判断基準
- Transformer Encoder+MLM+左右の文脈 → BERT
- 左から右へ次トークンを生成 → BERTの代表的な事前学習ではない
- NSP → 原版BERTでは使用。ただしBERT系すべての必須条件ではない
迷ったら、「Encoder型か」「何を予測して学習するか」を先に見ます。
直感的な説明
たとえば「bank」という語が、
- I deposited money at the bank.
- We sat on the river bank.
に現れた場合、同じ単語でも周囲の文脈によって意味が違います。
BERTは文章中の前後関係を利用し、その位置での文脈依存表現を作ります。
定義・仕組み
Transformer Encoder
BERTはTransformer Encoderを積み重ねた構造です。
自己回帰生成モデルのように未来側を常に隠すのではなく、基本的に左右の文脈を利用します。
Masked Language Model(MLM)
入力中の一部のトークンを予測対象にし、前後の文脈から元のトークンを予測します。
詳しくはMLMで整理しています。
Next Sentence Prediction(NSP)
原版BERTでは、MLMに加えてNSPも事前学習に使われました。
ただし、後続のBERT系モデルではNSPを使わない設計もあるため、
BERT系モデルは必ずNSPを使う
とは覚えません。
いつ使う?(得意・不得意)
BERT系は代表的に、
- 文書分類
- 固有表現抽出
- 質問応答
- 文脈表現の取得
などに利用されます。
BERTを「理解専用」と絶対視するより、Encoder型・MLM・文脈依存表現という構造と学習目的で判断するのが安全です。
G検定ひっかけポイント
BERT=次トークン予測?
❌ 左から右へ次の語を順番に予測するのが基本
⭕ 原版BERTの代表的事前学習はMLM
BERT=NSP必須?
❌ BERT系ならすべてNSPを使う
⭕ 原版BERTでは使用。後続モデルでは使わない例もある
BERT=固定単語Embedding?
❌ 同じ単語は常に同じ最終表現
⭕ 文脈に応じて各位置の表現が変わる
まとめ(試験直前用)
- BERT=Transformer Encoder
- 左右の文脈を利用
- MLMが代表的事前学習
- 原版BERTではNSPも使用
- 文脈依存表現
- GPTとは構造と学習目的で切る