最終更新日：2026年7月18日
gk nlp transformer
まず結論
MLM（Masked Language Model）は、文章中の一部のトークンを隠し、前後の文脈から元のトークンを予測する学習方法です。
BERTの代表的な事前学習目的として知られています。
G検定では、次の対応で切り分けます。
- 穴埋め・前後の文脈・BERT → MLM
- 左から右へ次の語を予測・文章生成 → 自己回帰型言語モデル
文中を隠して当てるのがMLM。続きを順に作るのは次トークン予測です。
直感的な説明
MLMは、文章の穴埋め問題です。
私は [MASK] を勉強している。
モデルは、前の「私は」だけでなく、後ろの「を勉強している」も見て、隠された語を予測します。
前の文脈 ← [MASK] → 後ろの文脈
このように、左右両方の情報を使えるため、BERTは文の意味理解に向いています。
一方、GPT系の自己回帰モデルは、基本的にそれまでの文脈から次の語を予測します。
今日は 天気が
↓
よい
定義・仕組み
MLMでは、入力文の一部を学習用に選び、その位置の元のトークンを予測させます。
BERTの元論文では、選ばれたトークンを必ずすべて [MASK] にするのではなく、一定割合は別の語や元の語のままにします。
試験対策では、細かな割合よりも次の流れを押さえれば十分です。
文章の一部を予測対象にする
↓
前後の文脈を使う
↓
元のトークンを当てる
↓
文脈を反映した表現を学ぶ
| 観点 | MLM |
|---|---|
| 代表モデル | BERT |
| 予測対象 | 文中の隠されたトークン |
| 使う文脈 | 前後両方向 |
| 得意な方向 | 文理解、分類、抽出 |
| 文章生成 | 主目的ではない |
MLMは学習目的の名前であり、Transformerそのものの名前ではありません。
いつ使う？（得意・不得意）
得意なこと
- 文書分類
- 感情分析
- 固有表現抽出
- 質問応答
- 文中の意味関係の理解
これらは、文全体の前後関係を利用できることが役立つ課題です。
注意点
- 左から右へ自然に長文を生成することは主目的ではない
[MASK]は主に事前学習で使う記号であり、通常の利用時に毎回入力するわけではない- 「双方向」とは、ある語を予測するときに前後の文脈を参照できるという意味
G検定ひっかけポイント
MLMと次トークン予測
| 判断ポイント | MLM | 次トークン予測 |
|---|---|---|
| 代表モデル | BERT | GPT、PaLMなど |
| 問題形式 | 文中の穴埋め | 続きの予測 |
| 文脈 | 前後両方向 | それまでの文脈 |
| 主な強み | 文理解 | 文章生成 |
MLMは文章生成モデル？
MLMでもトークンを予測しますが、左から右へ文章を順番に生成することを主目的にはしていません。
「トークンを予測する」という共通点だけで、GPT系と同じだと判断しないようにします。
MLMとTransformer
- Transformer：モデルの基本構造
- MLM：事前学習で使う予測課題
BERTはTransformer Encoderを使い、MLMで学習します。
選択肢を切る判断基準
- 「文章中の語を隠す」→ MLM
- 「前後の文脈を利用」→ MLM
- 「BERTの事前学習」→ MLM
- 「次の語を順番に予測」→ 自己回帰型言語モデル
- 「Transformerの構造そのもの」→ MLMではない
まとめ（試験直前用）
- MLMは文中の一部を隠して元のトークンを予測する学習方法
- BERTの代表的な事前学習目的
- 前後両方向の文脈を使う
- 文理解に強く、左から右の文章生成は主目的ではない
- Transformerは構造、MLMは学習課題
- 穴埋めならMLM、続きを作るなら次トークン予測