---
title: "PaLMとは？Pathwaysで学習した大規模言語モデル【G検定】"
description: "PaLMを、Pathwaysを用いて大規模に学習されたTransformerベースの言語モデルとして整理します。PaLM-E、PaLI、Flamingoとの違いと、G検定で選択肢を切る判断軸を初心者向けに解説します。"
last_modified_at: "2026-07-18"
canonical_url: "https://stemtazoo.github.io/gk/palm/"
section: "gk"
---

## まず結論

PaLM（Pathways Language Model）は、**GoogleがPathwaysを用いて大規模に学習した、Transformerベースの大規模言語モデル**です。

G検定では、次の切り分けが重要です。

- PaLM：主にテキストを扱う大規模言語モデル
- PaLM-E：画像やセンサ情報なども扱う、身体性を意識したマルチモーダルモデル
- PaLI：画像と言語を扱うマルチモーダルモデル
- Flamingo：画像とテキストを組み合わせた少数例学習に強いモデル

> **PaLM単体は言語モデル。画像やロボットの情報が出たら、PaLM-Eや別のマルチモーダルモデルを疑います。**

## 直感的な説明

PaLMは、大量の文章やコードを読んで、続きの語を予測する練習を重ねた言語モデルです。

その結果、次のような能力を示します。

- 文章生成
- 質問応答
- 要約
- 翻訳
- 数段階の推論
- コード生成

ただし、PaLMという名前だけで、画像や音声を直接扱うモデルだと判断してはいけません。

```text
文章・コードを中心に扱う
→ PaLM

画像やセンサ情報も入力する
→ PaLM-E、PaLI、Flamingoなど
```

## 定義・仕組み

PaLMは、2022年に発表された大規模言語モデルです。

代表的なモデルは5400億パラメータをもち、Pathwaysという分散学習の仕組みを使って多数のTPU上で学習されました。

仕組みを試験向けに整理すると、次のとおりです。

| 観点 | PaLM |
|---|---|
| モデルの種類 | 大規模言語モデル |
| 基盤 | Transformer |
| 主な入力 | テキスト、コード |
| 学習の基本 | それまでの文脈から次のトークンを予測 |
| 特徴 | 少数例学習、推論、言語理解・生成 |
| 学習基盤 | Pathways |

PaLMは、BERTのような穴埋め型の理解モデルではなく、GPT系と同じく、**左から右へ次のトークンを予測する自己回帰型の言語モデル**として整理できます。

また、モデル規模を大きくすると、一部の課題で性能が急に伸びる現象が報告されました。これは、G検定で「創発的能力」と関連付けて問われることがあります。

## いつ使う？（得意・不得意）

### 得意なこと

- 文章やコードの生成
- 質問への回答
- 要約や翻訳
- 少ない例から形式を理解するfew-shot学習
- 複数段階の推論

### 注意点

- 出力が事実とは限らず、誤った内容を生成することがある
- 学習データの偏りを反映する可能性がある
- PaLM単体は、画像やセンサ情報を直接入力するモデルではない
- 大規模であることだけで、すべての課題に必ず優れるとは限らない

G検定では、性能の高さだけでなく、**何を入力として扱うモデルか**を確認します。

## G検定ひっかけポイント

### PaLMとPaLM-E

- PaLM：言語モデル
- PaLM-E：PaLMを基盤に、画像やロボットのセンサ情報なども扱う

「ロボット」「環境情報」「画像入力」があれば、PaLM-Eを疑います。

### PaLMとPaLI

- PaLM：言語中心
- PaLI：画像と言語を組み合わせる

画像説明やVisual Question Answeringなら、PaLIなどのマルチモーダルモデルが候補です。

### PaLMとBERT

- PaLM：次のトークンを予測する自己回帰型
- BERT：文中をマスクして予測する双方向型

「穴埋め・双方向」ならBERT、「文章を順に生成」ならPaLM側です。

### 選択肢を切る判断基準

- 「Pathwaysで学習した大規模言語モデル」→ PaLM
- 「次のトークンを予測して文章を生成」→ PaLM
- 「画像やロボットの状態も入力」→ PaLM-E
- 「画像と言語を共同で扱う」→ PaLIやFlamingo
- 「マスクした語を前後から予測」→ BERTのMLM

## まとめ（試験直前用）

- PaLMはPathwaysを用いて学習されたTransformerベースの大規模言語モデル
- 主にテキストとコードを扱う
- 自己回帰型で、次のトークンを予測する
- PaLM-Eは画像やセンサ情報も扱うマルチモーダルモデル
- BERTのMLMとは学習目的が異なる
- **言語だけならPaLM、画像・ロボット情報まで扱うならPaLM-E**