Skip to the content.

最終更新日:2026年10月19日

まず結論

Word2VecとBERTの大きな違いは、同じ単語のベクトルが文脈によって変わるかです。ここでは同じ語形のbankを2つの文に置いて考えます。CBOW/Skip-gramの予測方向はWord2Vecの学習方法、頻度特徴も含む選択は3手法の使い分けで確認できます。

  • Word2Vec:同じ単語には基本的に同じベクトル → 静的表現
  • BERT:周囲の文脈に応じて表現が変わる → 文脈依存表現

G検定では、

固定ベクトル → Word2Vec

文脈で変わる → BERT

で切り分けます。

直感的な説明

英単語「bank」は、「銀行」と「川岸」の両方を意味します。

  • I went to the bank to deposit money.(預金するために銀行へ行った)
  • We sat on the river bank.(川岸に座った)

同じ語形でも、周囲の語によって意味が変わります。

Word2Vecでは、ある単語に対して学習後は基本的に1つの静的ベクトルを使います。

BERTでは、文全体の文脈を利用して、その位置の表現を変化させます。

定義・仕組み

Word2Vec

Word2Vecは、CBOWやSkip-gramを使って、周囲の単語との関係から単語ベクトルを学びます。

重要なのは、

  • 学習時には文脈を使う
  • しかし学習後の単語表現は基本的に静的

という点です。

したがって、

「Word2Vecは文脈を一切使わない」

という説明は不正確です。

BERT

BERTはTransformer Encoderを使い、前後の情報を考慮して各位置の表現を作ります。

同じ単語でも、置かれた文によって内部表現が変わります。

そのため、文脈による語義の違いを扱いやすいのが特徴です。

静的Embeddingと文脈依存Embeddingの位置付け

表現 代表例 同じ単語の扱い
静的Embedding Word2Vec、GloVe 学習後は基本的に固定ベクトルを使う
文脈依存Embedding ELMo、BERT 入力文脈に応じた表現を作る

ELMoは双方向LSTMを使う文脈依存表現、BERTはTransformer Encoderを使う文脈依存表現です。文脈依存なら必ずTransformer、とは限りません。 Word2Vec以外の静的表現はWord2Vec・fastText・GloVeの比較で確認できます。

いつ使う?(得意・不得意)

Word2Vecが向く場面

  • 軽量な単語ベクトルがほしい
  • 単語類似度を計算したい
  • 静的な特徴量として利用したい

BERTが向く場面

  • 文書分類
  • 質問応答
  • 感情分析
  • 文脈によって意味が変わる語を扱う

ただし、BERTの方が常に適しているわけではありません。計算量や用途によってWord2Vecの方が扱いやすい場合もあります。

G検定ひっかけポイント

Word2Vecは文脈を使わない

「学習時にも周辺語を使わない」という意味なら誤りです。

学習時には周辺語を使います。試験では、最終的な表現が静的か文脈依存かで判断する方が安全です。

BERTは単語ごとに固定ベクトルを持つだけ

誤りです。

BERTでは、周囲の文脈を反映した表現を生成します。

BERTなら必ず生成モデル

誤りです。

BERTは代表的には文脈理解・分類・抽出などで使われ、自己回帰生成を中心とするGPTとは役割が異なります。

判断基準

  • 静的な単語ベクトル → Word2Vec
  • 文脈によって表現が変わる → BERT
  • 周囲→中心 / 中心→周囲 → Word2VecのCBOW / Skip-gram
  • 双方向・MLM・Encoder → BERT

まとめ(試験直前用)

  • Word2Vec=静的な単語表現
  • BERT=文脈依存の表現
  • Word2Vecも学習時には周辺語を使う
  • 同じ単語を文脈ごとに表現し分けるのはBERT側
  • 固定か、文脈で変わるかで切る

参考資料(原論文)

© 2024-2026 stemtazoo. All rights reserved.