最終更新日:2026年9月23日
gk multimodal contrastive_learning
まず結論
CLIP(Contrastive Language-Image Pre-training)は、画像とテキストを同じ意味空間で対応付けるマルチモーダルモデルです。
G検定では、
- 画像エンコーダ
- テキストエンコーダ
- コントラスト学習
- ゼロショット画像分類
を押さえます。
CLIPそのものの中心機能は、文章や画像を生成することではなく、画像とテキストの対応関係・類似度を学ぶことです。
直感的な説明
CLIPは、
この画像と、この文章は意味的に合っているか?
を学ぶモデルです。
たとえば犬の画像と、
- 「犬の写真」
- 「飛行機の写真」
- 「海の写真」
という文章を比べると、「犬の写真」と近くなるように画像と文章の表現を学習します。
定義・仕組み
2つのエンコーダ
CLIPは、
- 画像エンコーダ:画像 → ベクトル
- テキストエンコーダ:文章 → ベクトル
という2つのエンコーダを使います。
原論文では画像側にResNet系またはVision Transformer、テキスト側にTransformerが使われています。
コントラスト学習
学習では、正しい画像・文章ペアの類似度を高くし、誤った組合せの類似度を低くするようにします。
つまり、
正しいペアは近く、違うペアは遠く
なるように共同埋め込み空間を作ります。
ゼロショット画像分類
CLIPでは、クラス名を文章として与え、画像との類似度を比べることで、追加の教師あり学習なしに画像分類へ利用できます。
これが代表的なゼロショット転移です。
いつ使う?(得意・不得意)
代表的な用途は、
- ゼロショット画像分類
- 画像検索
- テキストからの画像検索
- 画像と文章の類似度評価
- 生成モデルの条件付け・評価の一部
などです。
CLIP単体は生成モデルではありませんが、画像生成システムの構成要素として利用されることはあります。
G検定ひっかけポイント
CLIP=画像生成モデル?
❌ CLIP自体が画像を生成することが中心
⭕ 画像とテキストの対応表現を学ぶモデル
CLIP=画像キャプション生成?
❌ 画像から文章を順番に生成するDecoderモデル
⭕ 画像と文章を埋め込み空間で比較する
CLIP=CNN?
❌ CNNだけで構成されるモデル
⭕ 画像・テキストの2系統を持つマルチモーダルモデル
生成に使われない?
❌ CLIPは生成AIと無関係
⭕ CLIP自体は非生成でも、生成モデルの条件付けなどに利用できる
まとめ(試験直前用)
- CLIP=画像とテキストを同じ埋め込み空間へ
- 正しい画像・文章ペアを近づける
- コントラスト学習
- ゼロショット画像分類が代表例
- CLIP自体は生成モデルではない
- ただし生成システムの一部として利用されることはある