最終更新日：2026年8月26日
gk nlp transformer
まず結論
Word2VecとBERTの大きな違いは、同じ単語のベクトルが文脈によって変わるかです。
- Word2Vec：同じ単語には基本的に同じベクトル → 静的表現
- BERT：周囲の文脈に応じて表現が変わる → 文脈依存表現
G検定では、
固定ベクトル → Word2Vec
文脈で変わる → BERT
で切り分けます。
直感的な説明
たとえば「はし」という語を考えます。
- 箸でご飯を食べる
- 橋を渡る
表記やトークン化のされ方は実装によりますが、ポイントは周囲の文脈によって意味が変わる語をどう表すかです。
Word2Vecでは、ある単語に対して学習後は基本的に1つの静的ベクトルを使います。
BERTでは、文全体の文脈を利用して、その位置の表現を変化させます。
定義・仕組み
Word2Vec
Word2Vecは、CBOWやSkip-gramを使って、周囲の単語との関係から単語ベクトルを学びます。
重要なのは、
- 学習時には文脈を使う
- しかし学習後の単語表現は基本的に静的
という点です。
したがって、
「Word2Vecは文脈を一切使わない」
という説明は不正確です。
BERT
BERTはTransformer Encoderを使い、前後の情報を考慮して各位置の表現を作ります。
同じ単語でも、置かれた文によって内部表現が変わります。
そのため、文脈による語義の違いを扱いやすいのが特徴です。
いつ使う？（得意・不得意）
Word2Vecが向く場面
- 軽量な単語ベクトルがほしい
- 単語類似度を計算したい
- 静的な特徴量として利用したい
BERTが向く場面
- 文書分類
- 質問応答
- 感情分析
- 文脈によって意味が変わる語を扱う
ただし、BERTの方が常に適しているわけではありません。計算量や用途によってWord2Vecの方が扱いやすい場合もあります。
G検定ひっかけポイント
Word2Vecは文脈を使わない
誤りとは言い切れません。
学習時には周辺語を使います。試験では、最終的な表現が静的か文脈依存かで判断する方が安全です。
BERTは単語ごとに固定ベクトルを持つだけ
誤りです。
BERTでは、周囲の文脈を反映した表現を生成します。
BERTなら必ず生成モデル
誤りです。
BERTは代表的には文脈理解・分類・抽出などで使われ、自己回帰生成を中心とするGPTとは役割が異なります。
判断基準
- 静的な単語ベクトル → Word2Vec
- 文脈によって表現が変わる → BERT
- 周囲→中心 / 中心→周囲 → Word2VecのCBOW / Skip-gram
- 双方向・MLM・Encoder → BERT
まとめ（試験直前用）
- Word2Vec＝静的な単語表現
- BERT＝文脈依存の表現
- Word2Vecも学習時には周辺語を使う
- 同じ単語を文脈ごとに表現し分けるのはBERT側
- 固定か、文脈で変わるかで切る