最終更新日：2026年8月21日
gk nlp cheatsheet
G検定トップ
＞ NLP全体マップ｜頻度・意味・文脈・生成で整理【G検定対策】
まず結論
NLPは、個別手法をばらばらに暗記するより、何を扱っているかで整理すると切り分けやすくなります。
| 判断キーワード | 代表的な手法・概念 |
|---|---|
| 単語の出現回数 | BoW |
| 単語の重要度 | TF-IDF |
| 文脈に依存しない単語ベクトル | Word2Vec |
| 文脈を反映した表現・理解 | BERT |
| 文章生成 | GPT |
このページはNLP分野の全体マップです。各手法の詳しい仕組みは個別記事で確認します。
直感的な説明
同じ文章でも、見るレベルによって処理が変わります。
- どの単語が何回出た？ → 頻度
- どの単語がその文書で重要？ → 重要度
- 似た意味の単語はどれ？ → 単語の分散表現
- この文脈ではどんな意味？ → 文脈表現
- 続きの文章を作りたい → 生成
G検定では、モデル名だけでなく、設問がどのレベルの処理を説明しているかを見るのがポイントです。
定義・仕組み
1. 文を分解・解析する
古典的なNLPでは、文章を次のような観点で解析します。
- 形態素解析：形態素への分割、品詞などを扱う
- 構文解析：単語や句の構造・依存関係を扱う
- 意味解析：文や語の意味・関係を扱う
詳しい切り分けは形態素解析・構文解析・意味解析の違いで確認できます。
2. 文や単語を数値で表す
| 手法 | 何を見る？ | 切り分け |
|---|---|---|
| Bag of Words | 出現回数 | 語順や意味を基本的に使わない |
| TF-IDF | 文書内頻度と文書集合での希少さ | 単語の重要度を重み付け |
| Word2Vec | 周辺語との関係から学んだ単語ベクトル | 同じ単語は基本的に同じベクトル |
Word2Vecは周辺の文脈を使って学習しますが、学習後の単語表現は基本的に文脈ごとには変化しません。
3. 文脈そのものを扱う
TransformerはAttentionを中心に系列内の関係を扱う構造です。
「BERT＝理解だけ」「GPT＝生成だけ」と絶対視するのではなく、代表的な役割として切り分けるのが安全です。
いつ使う？（得意・不得意）
- 単純な頻度特徴がほしい → BoW
- 文書内で重要な単語を重み付けしたい → TF-IDF
- 単語同士の意味的な近さをベクトルで扱いたい → Word2Vec
- 文脈によって変わる意味を扱いたい → BERTなどの文脈表現
- 文章の続きを生成したい → GPTなどの自己回帰モデル
古典的な手法が常に劣るわけではありません。計算量、データ量、用途によって適した方法は変わります。
G検定ひっかけポイント
- ❌「BoWは語順を表す」
- 基本的なBoWは単語の出現情報を中心に表し、語順を保持しません。
- ❌「TF-IDFは単語の意味そのものを理解する」
- 頻度に基づく重み付けです。
- ❌「Word2Vecは文章中の同じ単語を文脈ごとに別ベクトルへ変える」
- 基本的なWord2Vecは静的な単語表現です。
- ❌「形態素解析・構文解析・意味解析を、すべての現代NLPモデルが明示的に順番に実行する」
- 現代のニューラルモデルでは、これらを明示的なパイプラインとして分けない場合もあります。
判断基準
- 回数 → BoW
- 重要度 → TF-IDF
- 静的な単語ベクトル → Word2Vec
- 文脈表現 → BERT
- 自己回帰・生成 → GPT
まとめ（試験直前用）
- NLPはまず「何を扱う？」で切る
- 回数＝BoW、重要度＝TF-IDF
- 静的な単語表現＝Word2Vec
- 文脈表現＝BERT、生成＝GPT
- 形態素・構文・意味解析は別の「解析レベル」の整理