---
title: "MLMとは？BERTのマスク言語モデルを整理【G検定】"
description: "MLMを、文章中の一部を隠して前後の文脈から予測するBERTの事前学習手法として整理します。自己回帰型言語モデル、次単語予測、因果言語モデルとの違いをG検定向けに解説します。"
last_modified_at: "2026-07-18"
canonical_url: "https://stemtazoo.github.io/gk/mlm/"
section: "gk"
---

## まず結論

MLM（Masked Language Model）は、**文章中の一部のトークンを隠し、前後の文脈から元のトークンを予測する学習方法**です。

BERTの代表的な事前学習目的として知られています。

G検定では、次の対応で切り分けます。

- 穴埋め・前後の文脈・BERT → MLM
- 左から右へ次の語を予測・文章生成 → 自己回帰型言語モデル

> **文中を隠して当てるのがMLM。続きを順に作るのは次トークン予測です。**

## 直感的な説明

MLMは、文章の穴埋め問題です。

```text
私は [MASK] を勉強している。
```

モデルは、前の「私は」だけでなく、後ろの「を勉強している」も見て、隠された語を予測します。

```text
前の文脈 ← [MASK] → 後ろの文脈
```

このように、左右両方の情報を使えるため、BERTは文の意味理解に向いています。

一方、GPT系の自己回帰モデルは、基本的にそれまでの文脈から次の語を予測します。

```text
今日は 天気が
↓
よい
```

## 定義・仕組み

MLMでは、入力文の一部を学習用に選び、その位置の元のトークンを予測させます。

BERTの元論文では、選ばれたトークンを必ずすべて `[MASK]` にするのではなく、一定割合は別の語や元の語のままにします。

試験対策では、細かな割合よりも次の流れを押さえれば十分です。

```text
文章の一部を予測対象にする
↓
前後の文脈を使う
↓
元のトークンを当てる
↓
文脈を反映した表現を学ぶ
```

| 観点 | MLM |
|---|---|
| 代表モデル | BERT |
| 予測対象 | 文中の隠されたトークン |
| 使う文脈 | 前後両方向 |
| 得意な方向 | 文理解、分類、抽出 |
| 文章生成 | 主目的ではない |

MLMは学習目的の名前であり、Transformerそのものの名前ではありません。

## いつ使う？（得意・不得意）

### 得意なこと

- 文書分類
- 感情分析
- 固有表現抽出
- 質問応答
- 文中の意味関係の理解

これらは、文全体の前後関係を利用できることが役立つ課題です。

### 注意点

- 左から右へ自然に長文を生成することは主目的ではない
- `[MASK]` は主に事前学習で使う記号であり、通常の利用時に毎回入力するわけではない
- 「双方向」とは、ある語を予測するときに前後の文脈を参照できるという意味

## G検定ひっかけポイント

### MLMと次トークン予測

| 判断ポイント | MLM | 次トークン予測 |
|---|---|---|
| 代表モデル | BERT | GPT、PaLMなど |
| 問題形式 | 文中の穴埋め | 続きの予測 |
| 文脈 | 前後両方向 | それまでの文脈 |
| 主な強み | 文理解 | 文章生成 |

### MLMは文章生成モデル？

MLMでもトークンを予測しますが、左から右へ文章を順番に生成することを主目的にはしていません。

「トークンを予測する」という共通点だけで、GPT系と同じだと判断しないようにします。

### MLMとTransformer

- Transformer：モデルの基本構造
- MLM：事前学習で使う予測課題

BERTはTransformer Encoderを使い、MLMで学習します。

### 選択肢を切る判断基準

- 「文章中の語を隠す」→ MLM
- 「前後の文脈を利用」→ MLM
- 「BERTの事前学習」→ MLM
- 「次の語を順番に予測」→ 自己回帰型言語モデル
- 「Transformerの構造そのもの」→ MLMではない

## まとめ（試験直前用）

- MLMは文中の一部を隠して元のトークンを予測する学習方法
- BERTの代表的な事前学習目的
- 前後両方向の文脈を使う
- 文理解に強く、左から右の文章生成は主目的ではない
- Transformerは構造、MLMは学習課題
- **穴埋めならMLM、続きを作るなら次トークン予測**