Skip to the content.

最終更新日:2026年9月23日

まず結論

CLIP(Contrastive Language-Image Pre-training)は、画像とテキストを同じ意味空間で対応付けるマルチモーダルモデルです。

G検定では、

  • 画像エンコーダ
  • テキストエンコーダ
  • コントラスト学習
  • ゼロショット画像分類

を押さえます。

CLIPそのものの中心機能は、文章や画像を生成することではなく、画像とテキストの対応関係・類似度を学ぶことです。

直感的な説明

CLIPは、

この画像と、この文章は意味的に合っているか?

を学ぶモデルです。

たとえば犬の画像と、

  • 「犬の写真」
  • 「飛行機の写真」
  • 「海の写真」

という文章を比べると、「犬の写真」と近くなるように画像と文章の表現を学習します。

定義・仕組み

2つのエンコーダ

CLIPは、

  • 画像エンコーダ:画像 → ベクトル
  • テキストエンコーダ:文章 → ベクトル

という2つのエンコーダを使います。

原論文では画像側にResNet系またはVision Transformer、テキスト側にTransformerが使われています。

コントラスト学習

学習では、正しい画像・文章ペアの類似度を高くし、誤った組合せの類似度を低くするようにします。

つまり、

正しいペアは近く、違うペアは遠く

なるように共同埋め込み空間を作ります。

ゼロショット画像分類

CLIPでは、クラス名を文章として与え、画像との類似度を比べることで、追加の教師あり学習なしに画像分類へ利用できます。

これが代表的なゼロショット転移です。

いつ使う?(得意・不得意)

代表的な用途は、

  • ゼロショット画像分類
  • 画像検索
  • テキストからの画像検索
  • 画像と文章の類似度評価
  • 生成モデルの条件付け・評価の一部

などです。

CLIP単体は生成モデルではありませんが、画像生成システムの構成要素として利用されることはあります。

G検定ひっかけポイント

CLIP=画像生成モデル?

❌ CLIP自体が画像を生成することが中心
⭕ 画像とテキストの対応表現を学ぶモデル

CLIP=画像キャプション生成?

❌ 画像から文章を順番に生成するDecoderモデル
⭕ 画像と文章を埋め込み空間で比較する

CLIP=CNN?

❌ CNNだけで構成されるモデル
⭕ 画像・テキストの2系統を持つマルチモーダルモデル

生成に使われない?

❌ CLIPは生成AIと無関係
⭕ CLIP自体は非生成でも、生成モデルの条件付けなどに利用できる

まとめ(試験直前用)

  • CLIP=画像とテキストを同じ埋め込み空間へ
  • 正しい画像・文章ペアを近づける
  • コントラスト学習
  • ゼロショット画像分類が代表例
  • CLIP自体は生成モデルではない
  • ただし生成システムの一部として利用されることはある

参考資料

© 2024-2026 stemtazoo. All rights reserved.