最終更新日：2026年7月18日
gk neural_network transformer
まず結論
PaLM（Pathways Language Model）は、GoogleがPathwaysを用いて大規模に学習した、Transformerベースの大規模言語モデルです。
G検定では、次の切り分けが重要です。
- PaLM：主にテキストを扱う大規模言語モデル
- PaLM-E：画像やセンサ情報なども扱う、身体性を意識したマルチモーダルモデル
- PaLI：画像と言語を扱うマルチモーダルモデル
- Flamingo：画像とテキストを組み合わせた少数例学習に強いモデル
PaLM単体は言語モデル。画像やロボットの情報が出たら、PaLM-Eや別のマルチモーダルモデルを疑います。
直感的な説明
PaLMは、大量の文章やコードを読んで、続きの語を予測する練習を重ねた言語モデルです。
その結果、次のような能力を示します。
- 文章生成
- 質問応答
- 要約
- 翻訳
- 数段階の推論
- コード生成
ただし、PaLMという名前だけで、画像や音声を直接扱うモデルだと判断してはいけません。
文章・コードを中心に扱う
→ PaLM
画像やセンサ情報も入力する
→ PaLM-E、PaLI、Flamingoなど
定義・仕組み
PaLMは、2022年に発表された大規模言語モデルです。
代表的なモデルは5400億パラメータをもち、Pathwaysという分散学習の仕組みを使って多数のTPU上で学習されました。
仕組みを試験向けに整理すると、次のとおりです。
| 観点 | PaLM |
|---|---|
| モデルの種類 | 大規模言語モデル |
| 基盤 | Transformer |
| 主な入力 | テキスト、コード |
| 学習の基本 | それまでの文脈から次のトークンを予測 |
| 特徴 | 少数例学習、推論、言語理解・生成 |
| 学習基盤 | Pathways |
PaLMは、BERTのような穴埋め型の理解モデルではなく、GPT系と同じく、左から右へ次のトークンを予測する自己回帰型の言語モデルとして整理できます。
また、モデル規模を大きくすると、一部の課題で性能が急に伸びる現象が報告されました。これは、G検定で「創発的能力」と関連付けて問われることがあります。
いつ使う？（得意・不得意）
得意なこと
- 文章やコードの生成
- 質問への回答
- 要約や翻訳
- 少ない例から形式を理解するfew-shot学習
- 複数段階の推論
注意点
- 出力が事実とは限らず、誤った内容を生成することがある
- 学習データの偏りを反映する可能性がある
- PaLM単体は、画像やセンサ情報を直接入力するモデルではない
- 大規模であることだけで、すべての課題に必ず優れるとは限らない
G検定では、性能の高さだけでなく、何を入力として扱うモデルかを確認します。
G検定ひっかけポイント
PaLMとPaLM-E
- PaLM：言語モデル
- PaLM-E：PaLMを基盤に、画像やロボットのセンサ情報なども扱う
「ロボット」「環境情報」「画像入力」があれば、PaLM-Eを疑います。
PaLMとPaLI
- PaLM：言語中心
- PaLI：画像と言語を組み合わせる
画像説明やVisual Question Answeringなら、PaLIなどのマルチモーダルモデルが候補です。
PaLMとBERT
- PaLM：次のトークンを予測する自己回帰型
- BERT：文中をマスクして予測する双方向型
「穴埋め・双方向」ならBERT、「文章を順に生成」ならPaLM側です。
選択肢を切る判断基準
- 「Pathwaysで学習した大規模言語モデル」→ PaLM
- 「次のトークンを予測して文章を生成」→ PaLM
- 「画像やロボットの状態も入力」→ PaLM-E
- 「画像と言語を共同で扱う」→ PaLIやFlamingo
- 「マスクした語を前後から予測」→ BERTのMLM
まとめ（試験直前用）
- PaLMはPathwaysを用いて学習されたTransformerベースの大規模言語モデル
- 主にテキストとコードを扱う
- 自己回帰型で、次のトークンを予測する
- PaLM-Eは画像やセンサ情報も扱うマルチモーダルモデル
- BERTのMLMとは学習目的が異なる
- 言語だけならPaLM、画像・ロボット情報まで扱うならPaLM-E