--- title: "マルチモーダルモデル総まとめ【最終チートシート｜G検定対策】" description: "マルチモーダルモデルを、入力モダリティと出力、生成の有無、Few-shot対応、環境・ロボットとの接続という判断軸で比較します。CLIP、BLIP、Flamingo、PaLM、PaLM-E、DALL·Eの役割を切り分け、G検定でモデル名と用途を入れ替える選択肢に対応します。" last_modified_at: "2026-07-14" canonical_url: "https://stemtazoo.github.io/gk/multimodal-cheatsheet/" section: "gk" --- ## まず結論 - マルチモーダルモデルは「**何を入力して、何を出力するか**」で瞬時に切り分ける。 - G検定では **生成するのか／しないのか** が最大の分岐点になる。 ## 直感的な説明 G検定の選択肢は、だいたいこう攻めてきます。 - 名前は全部それっぽい - TransformerもAttentionも全部出てくる - 違いは **「役割」だけ** だから覚えるべきは暗記ではなく👇 👉 **「このモデル、何の仕事？」** です。 ## 定義・仕組み マルチモーダルモデルとは、 - 画像 - テキスト - 環境情報 など **複数のモダリティ（情報形式）を扱うモデルの総称**です。 ただし、 - 対応付け - 生成 - 質問応答 - Few-shot - ロボット制御 など、**目的はモデルごとに全く違います**。 ## いつ使う？（得意・不得意） ### 🔴 生成するモデル | モデル | 得意なこと | |---|---| | DALL·E | テキスト → 画像生成 | | BLIP | 画像 → 説明文・質問応答 | | Unified-IO | 入出力統一で生成も理解も | ### 🔵 生成しないモデル | モデル | 得意なこと | |---|---| | CLIP | 画像 × テキストの対応付け | | PaLM | テキスト理解・生成（画像なし） | ### 🟢 特化系 | モデル | 特徴 | |---|---| | Flamingo | 画像×テキスト × Few-shot | | PaLM-E | 言語＋画像＋環境（ロボット） | ## G検定ひっかけポイント G検定では、次の軸で混同させてきます。 ### ① 生成できるか？ - ❌ CLIPは生成しない - ✅ DALL·E / BLIP は生成する ### ② 画像は関係あるか？ - ❌ PaLM は画像を扱わない - ✅ Flamingo / CLIP / BLIP は画像あり ### ③ Few-shotに対応するか？ - **Flamingo**は、少数の画像とテキストの例を文脈として与えて新しい課題に対応するFew-shot学習が特徴 - CLIPの代表的な特徴はFew-shot生成ではなく、画像とテキストの対応付けとゼロショット分類 ### ④ 現実世界の環境情報を扱うか？ - **PaLM-E**は、言語に加えて画像やセンサなどの環境情報を入力し、ロボットの行動計画などに利用する - **PaLM**は言語モデルであり、PaLM-Eのように環境情報を直接統合するモデルではない ### モデルを切り分ける最終表 | モデル | 主な入力 | 主な役割・出力 | 判断キーワード | | --- | --- | --- | --- | | CLIP | 画像＋テキスト | 対応付け・類似度計算 | コントラスト学習、ゼロショット分類 | | BLIP | 画像＋テキスト | キャプション生成・質問応答 | 理解と生成 | | DALL·E | テキスト | 画像生成 | Text-to-Image | | Flamingo | 画像＋テキスト | Few-shotでの理解・応答 | 少数例、インターリーブ入力 | | PaLM | テキスト | 言語理解・文章生成 | 大規模言語モデル | | PaLM-E | テキスト＋画像＋環境情報 | ロボット・身体化タスク | Environment、Embodied | PaLMは複数モダリティを扱う比較対象として掲載していますが、**PaLM単体はテキスト中心の言語モデル**です。「マルチモーダル」というだけでPaLMを選ばないようにします。 ## まとめ（試験直前用） - まず入力と出力を確認する - 対応付けならCLIP、画像生成ならDALL·E - 画像理解と文章生成ならBLIP - Few-shotの画像・言語モデルならFlamingo - 環境情報やロボットならPaLM-E、テキストのみならPaLM