最終更新日:2026年10月19日
gk nlp machine_learning
まず結論
Word2Vecは、周囲の単語との関係から学習し、単語を低次元の密なベクトル(分散表現)として表す手法です。
ここでは周囲と中心語のどちらを予測するかという学習方法を扱います。ベクトル表現そのものの考え方は分散表現で確認できます。
G検定では次の2点を押さえます。
- CBOW:周囲 → 中心語を予測
- Skip-gram:中心語 → 周囲を予測
また、学習には文脈を使いますが、学習後は同じ単語に基本的に同じベクトルを割り当てる静的表現です。
直感的な説明
Word2Vecは、
一緒に現れやすい単語は、似た役割や意味を持ちやすい
という考え方を利用します。
たとえば「犬」と「猫」が似た文脈で使われることが多ければ、学習後のベクトルも近くなることがあります。
単語を「意味の地図の中の点」に置くイメージです。似た文脈で使われる単語を近くに配置できれば、言葉の関係をベクトルの近さとして扱えます。ただし、どの関係が表れるかは学習データや設定に依存します。
定義・仕組み
表現と学習方法を分ける
Word2Vecは、単語の分散表現を学習する方法の一つです。Embedding層のIDに対応するベクトルを取り出す処理とは、説明している役割が異なります。
文章中の単語から予測対象を作るため、人が単語の意味に正解ラベルを付ける必要はありません。自己教師あり学習の例として捉えられます。
同じ3語で予測方向を比べる
the cat sleeps の中心語をcatとし、左右1語を周囲とする説明用の例です。
| 学習方式 | 手掛かりにする語 | 予測する語 |
|---|---|---|
| CBOW | the・sleeps | 中心のcat |
| Skip-gram | 中心のcat | 周囲のthe・sleeps |
語の意味ラベルを当てるのではなく、文章内に現れた語を予測対象にします。
CBOW
周囲の単語から中心語を予測します。
周囲の単語 → 中心語
詳しくはCBOWを確認してください。
Skip-gram
中心語から周囲の単語を予測します。
中心語 → 周囲の単語
詳しくはSkip-gramを確認してください。
単語間の関係
学習されたベクトルでは、「王 − 男 + 女 ≈ 女王」のように、語の関係をベクトルの加減算で表せる例もあります。ただし、すべての語や関係で成立する法則ではありません。
他の表現との使い分け
頻度による文書の重み付けも含めて選ぶ場合はTF-IDF・Word2Vec・BERTの比較を、静的か文脈依存かを詳しく見たい場合はWord2VecとBERTの比較を参照してください。
いつ使う?(得意・不得意)
向いている場面
- 単語の類似度を扱う
- 単語をニューラルネットワークの入力特徴として使う
- 軽量な静的単語ベクトルがほしい
注意点
- 文中の語順をそのまま表現するモデルではない
- 同じ表記の単語を文脈ごとに別ベクトルへ変えることは基本的にしない
- 学習データにない語や低頻度語の扱いには工夫が必要
G検定ひっかけポイント
Word2Vecは文脈を使わない
言い切ると不正確です。
学習時には周囲の単語という文脈を使います。 ただし、学習後の単語表現は基本的に静的です。
Word2VecはBoWと同じ
誤りです。
- BoW → 出現回数
- Word2Vec → 学習された密な単語ベクトル
CBOWとSkip-gramを逆にする
最頻出の混同です。
- 周囲 → 中心 → CBOW
- 中心 → 周囲 → Skip-gram
まとめ(試験直前用)
- Word2Vec=静的な単語分散表現
- CBOW=周囲 → 中心語
- Skip-gram=中心語 → 周囲
- 学習時には周囲の文脈を使う
- 文脈ごとに表現が変わるのはBERTなど
参考資料(原論文)
- Efficient Estimation of Word Representations in Vector Space|arXiv
- Mikolovら(2013)。CBOWとSkip-gramという2つのモデル構造を示し、大規模コーパスから連続的な単語ベクトルを効率よく学習する方法を提案しています。