最終更新日:2026年9月23日
gk nlp cheatsheet
まず結論
NLPは、モデル名を年代順に暗記するより、何を表現・予測しているかで整理します。
| 判断軸 | 代表手法 |
|---|---|
| 単語の出現情報 | BoW |
| 頻度+文書集合での希少性 | TF-IDF |
| 静的な単語Embedding | Word2Vec |
| 文脈依存表現 | BERT / ELMo |
| 自己回帰・次トークン予測 | GPT系 |
直感的な説明
同じ文章でも、見る観点が違います。
- 何回出た? → BoW
- この文書でどれくらい特徴的? → TF-IDF
- 似た使われ方をする単語は? → Word2Vec
- この文脈でこの語はどう表現される? → BERT
- ここまでの文章から次は? → GPT
定義・仕組み
BoW
単語の出現情報で文書を表します。基本的には語順を保持しません。
TF-IDF
TFとIDFを使い、文書内で頻出し、文書集合全体では珍しい語を大きく重み付けします。
Word2Vec
周辺語との関係から単語Embeddingを学習します。
学習時には文脈を使いますが、学習後の単語ベクトルは基本的に静的です。
BERT
Transformer Encoderを使い、文脈に応じて各位置の表現を作ります。
原版BERTではMLMとNSPを使って事前学習しました。
GPT
自己回帰的に次トークンを予測します。
文章生成が代表用途ですが、promptingにより分類・質問応答などにも利用できます。
いつ使う?(得意・不得意)
- 軽量な頻度特徴 → BoW / TF-IDF
- 単語類似度・静的Embedding → Word2Vec
- 文脈依存の分類・抽出 → BERT系
- 自己回帰生成・prompting → GPT系
古い手法だから不適切、新しいモデルだから常に最適、という判断は避けます。
G検定ひっかけポイント
Word2Vec=文脈を使わない?
❌ 学習時も文脈を見ない
⭕ 周辺語から学ぶが、最終表現は静的
BERT=理解専用?
❌ 分類しかできない
⭕ 代表的には文脈表現・分類・抽出に使われる。構造と学習目的で判断
GPT=生成専用?
❌ 生成以外のタスクに使えない
⭕ 自己回帰言語モデルだが、promptingで幅広いタスクへ利用できる
まとめ(試験直前用)
- BoW=出現情報
- TF-IDF=頻度+希少性
- Word2Vec=静的Embedding
- BERT=文脈依存表現+MLM
- GPT=自己回帰+次トークン予測
- 新旧ではなく「何を表現・予測するか」で切る