最終更新日：2026年8月26日
gk nlp neural_network
G検定トップ
＞ TF-IDF・Word2Vec・BERTの違いとは？【G検定対策】
まず結論
TF-IDF・Word2Vec・BERTは、どれが上位かではなく、何を表しているかが違います。
| 手法 | 中心となる考え方 | G検定の判断ワード |
|---|---|---|
| TF-IDF | 頻度と珍しさで重み付け | 重要度・頻度 |
| Word2Vec | 静的な単語分散表現 | 意味的な近さ・固定ベクトル |
| BERT | 文脈依存表現 | 双方向・文脈・MLM |
G検定では、頻度 → 静的表現 → 文脈表現の違いで切り分けます。
直感的な説明
同じ文章を見ても、3つは違うものを見ています。
- TF-IDF：この単語は、この文書でどれくらい特徴的？
- Word2Vec：この単語は、どの単語と意味的に近い？
- BERT：この文脈では、この単語はどんな意味・役割？
この3つを「昔→新しい」「弱い→強い」とだけ覚えると、用途の違いを見失います。
定義・仕組み
TF-IDF
TF-IDFは、
- 文書内での出現頻度（TF）
- 文書集合での珍しさ（IDF）
を組み合わせて、単語の重みを決めます。
特徴は次のとおりです。
- 語彙に対応した疎なベクトルになりやすい
- 語順や文脈を直接は扱わない
- 単語間の意味的な近さを学習する仕組みではない
Word2Vec
Word2Vecは、周囲の単語との関係から、単語を低次元の密なベクトルとして学習します。
- 意味的に近い単語が近いベクトルになることがある
- 学習時には周囲の文脈を使う
- 学習後は、同じ単語に基本的に同じベクトルを使う
つまり、静的な単語分散表現です。
BERT
BERTはTransformer Encoderを使い、前後の文脈を考慮した表現を作ります。
- 同じ単語でも文脈に応じて表現が変わる
- MLMなどを用いて事前学習する
- 分類・質問応答・抽出など幅広いNLPタスクに使われる
Word2Vecとの違いは、Word2VecとBERTの違いも確認してください。
いつ使う？（得意・不得意）
TF-IDF
- 軽量な文書特徴量がほしい
- 情報検索や文書分類のベースライン
- 特徴量の解釈をしやすくしたい
Word2Vec
- 単語間の類似度を扱いたい
- 軽量な単語ベクトルを使いたい
- 静的な埋め込みで十分なタスク
BERT
- 文脈によって意味が変わる語を扱いたい
- 文書分類・質問応答など文脈理解が重要
- 計算コストより表現力を重視したい
どの手法も用途次第で有効です。BERTだから常に最適、TF-IDFだから古くて使えないという判断は避けます。
G検定ひっかけポイント
TF-IDFは単語の意味を学習する
誤りです。頻度と珍しさによる重み付けです。
Word2Vecは文脈を一切使わない
不正確です。学習時には周囲の単語を使います。
ただし、最終的な単語ベクトルは基本的に静的です。
BERTは単語ごとに固定ベクトルを返す
誤りです。周囲の文脈を反映した表現を作ります。
新しい手法ほど必ず優れる
誤りです。計算量、データ量、目的によって適切な手法は変わります。
判断基準
- 頻度・珍しさ・重み → TF-IDF
- 単語の意味的な近さ・固定ベクトル → Word2Vec
- 双方向・文脈・MLM → BERT
まとめ（試験直前用）
- TF-IDF＝頻度と珍しさによる重み付け
- Word2Vec＝静的な単語分散表現
- BERT＝文脈依存表現
- 「新旧」ではなく何を表しているかで切る
- 文脈で表現が変わるかどうかが大きな判断軸