Skip to the content.

最終更新日:2026年10月19日

まず結論

TF-IDF・Word2Vec・BERTは、何を特徴量として取り出すかで使い分けます。このページは、文書の頻度特徴・単語の静的ベクトル・文脈依存表現の選択マップです。

手法 主に得るもの 選択肢の手掛かり
TF-IDF 文書ごとの語の重み 頻度・珍しさ・文書検索
Word2Vec 語ごとに保存した密なベクトル 類似語・静的な単語分散表現
BERT 入力文脈を反映した各位置の表現 前後関係・文脈理解

CBOW/Skip-gramの学習はWord2Vec、同じ語の文脈による変化はWord2VecとBERTの比較で確認できます。

直感的な説明

同じ文章でも、見たいものが異なります。

  • 文書中で特徴的な語を探す → TF-IDF
  • 単語どうしの類似性を扱う → Word2Vec
  • 文中でその語がどの意味・役割かを扱う → BERT

どれが上位かという順位ではなく、作ろうとしている特徴量の単位を先に決めます。

定義・仕組み

比較軸 TF-IDF Word2Vec BERT
値を取り出す単位 文書と語の組 単語 文中のトークン位置
値・表現の作り方 文書内頻度と文書集合での珍しさ 周辺語の予測から学習した単語ベクトル 入力系列の前後関係を反映する表現
同じ語が別の文に出たら 文書中の頻度などで重みが変わり得る 学習済みの語ベクトルは基本的に同じ 文脈によって内部表現が変わる

TF-IDFも文書ごとに値が変わりますが、それだけでBERTのような文脈依存の意味表現とはいえません。頻度による重みの変化と、周囲の語から計算する表現の変化を区別します。

また、Word2Vecは単語ベクトルです。文書分類に使う場合は、語ベクトルを集約するなど、文書の特徴にする処理も考える必要があります。

いつ使う?(得意・不得意)

必要なもの 確認する手法 注意点
軽量で語の寄与を確認しやすい文書特徴量 TF-IDF 語順や語義を直接学ぶ仕組みではない
単語類似度や軽量な静的Embedding Word2Vec 文脈ごとの多義語の表現は苦手
文脈を踏まえた分類・質問応答・抽出 BERT 計算資源や用途に応じた使い方を考える

G検定ひっかけポイント

  • 「TF-IDFも値が変わるので文脈の意味を理解する」→ 頻度による重み付けとの違いを確認する。
  • 「Word2Vecは文脈を一切使わない」→ 学習時には周辺語を使う。
  • 「Word2Vecはそのままで文書ごとに1つのベクトルを返す」→ 基本は単語の表現。集約などの処理とは分ける。
  • 「BERTなら常に最適」→ 目的、計算量、データに応じて選ぶ。

まとめ(試験直前用)

  • TF-IDF:文書ごとの語の重み
  • Word2Vec:語ごとの静的ベクトル
  • BERT:文中の位置ごとの文脈表現
  • 新旧の順位ではなく、必要な特徴量の単位で選ぶ

参考資料(原論文)

© 2024-2026 stemtazoo. All rights reserved.