Skip to the content.

最終更新日:2026年9月23日

まず結論

NLPは、モデル名を年代順に暗記するより、何を表現・予測しているかで整理します。

判断軸 代表手法
単語の出現情報 BoW
頻度+文書集合での希少性 TF-IDF
静的な単語Embedding Word2Vec
文脈依存表現 BERT / ELMo
自己回帰・次トークン予測 GPT系

直感的な説明

同じ文章でも、見る観点が違います。

  • 何回出た? → BoW
  • この文書でどれくらい特徴的? → TF-IDF
  • 似た使われ方をする単語は? → Word2Vec
  • この文脈でこの語はどう表現される? → BERT
  • ここまでの文章から次は? → GPT

定義・仕組み

BoW

単語の出現情報で文書を表します。基本的には語順を保持しません。

TF-IDF

TFとIDFを使い、文書内で頻出し、文書集合全体では珍しい語を大きく重み付けします。

Word2Vec

周辺語との関係から単語Embeddingを学習します。

学習時には文脈を使いますが、学習後の単語ベクトルは基本的に静的です。

BERT

Transformer Encoderを使い、文脈に応じて各位置の表現を作ります。

原版BERTではMLMとNSPを使って事前学習しました。

GPT

自己回帰的に次トークンを予測します。

文章生成が代表用途ですが、promptingにより分類・質問応答などにも利用できます。

いつ使う?(得意・不得意)

  • 軽量な頻度特徴 → BoW / TF-IDF
  • 単語類似度・静的Embedding → Word2Vec
  • 文脈依存の分類・抽出 → BERT系
  • 自己回帰生成・prompting → GPT系

古い手法だから不適切、新しいモデルだから常に最適、という判断は避けます。

G検定ひっかけポイント

Word2Vec=文脈を使わない?

❌ 学習時も文脈を見ない
⭕ 周辺語から学ぶが、最終表現は静的

BERT=理解専用?

❌ 分類しかできない
⭕ 代表的には文脈表現・分類・抽出に使われる。構造と学習目的で判断

GPT=生成専用?

❌ 生成以外のタスクに使えない
⭕ 自己回帰言語モデルだが、promptingで幅広いタスクへ利用できる

まとめ(試験直前用)

  • BoW=出現情報
  • TF-IDF=頻度+希少性
  • Word2Vec=静的Embedding
  • BERT=文脈依存表現+MLM
  • GPT=自己回帰+次トークン予測
  • 新旧ではなく「何を表現・予測するか」で切る

© 2024-2026 stemtazoo. All rights reserved.