最終更新日：2026年8月26日
gk nlp transformer
G検定トップ
＞ MLMとは？BERTのマスク言語モデルを整理【G検定】
まず結論
MLM（Masked Language Model）は、文中の一部を予測対象にし、前後の文脈から元のトークンを当てる学習方法です。
BERTの代表的な事前学習目的として知られています。
文中の穴埋め・前後の文脈
→ MLM
左から順に次を予測
→ 自己回帰型の次トークン予測
直感的な説明
MLMは穴埋め問題です。
私は [MASK] を勉強している。
予測するときは、左側だけでなく右側の文脈も使います。
一方、GPT系の自己回帰モデルでは、基本的にそれまでに現れたトークンから次のトークンを予測します。
定義・仕組み
BERTの元の事前学習では、予測対象として選ばれたトークンをすべて必ず [MASK] にするわけではなく、一部は別トークンや元のトークンのままにします。
G検定では細かな割合より、次の役割を押さえます。
| 観点 | MLM |
|---|---|
| 代表モデル | BERT |
| 予測対象 | 文中の選ばれたトークン |
| 使う文脈 | 前後の文脈 |
| 主な目的 | 文脈を反映した表現の事前学習 |
重要なのは、MLMはモデル構造の名前ではなく学習目的の名前という点です。
いつ使う？（得意・不得意）
MLMは、BERTのような文脈表現を事前学習するために使われます。
その後、分類・固有表現抽出・質問応答などの下流タスクへ利用できます。
ただし、MLM自体を「文章を左から右へ順番に生成する方式」と考えるのは誤りです。
G検定ひっかけポイント
- ❌「MLMはTransformerそのもの」
- Transformerは構造、MLMは学習目的です。
- ❌「MLMは次のトークンだけを左から右へ予測する」
- それは自己回帰型の次トークン予測です。
- ⭕「文中の語を隠して前後から予測」→ MLM
- ⭕「BERTの代表的な事前学習」→ MLM
まとめ（試験直前用）
- MLM＝文中の一部を予測する学習方法
- BERTの代表的な事前学習目的
- 前後の文脈を利用する
- Transformerは構造、MLMは学習目的
- 穴埋めならMLM、続きを順に作るなら次トークン予測