计算机视觉难度 ★★★★☆
CLIP对比学习
用海量图文对训练,让图像和文本在同一个向量空间里对话
分享:
📖 详细解释
🎯 一句话定义
用海量图文对训练,让图像和文本在同一个向量空间里对话
⚙️ 工作原理
OpenAI提出的方法:用4亿图文对对比学习。图像编码器和文本编码器同时训练,目标是正确的图文对相似度高,错误的低。零样本分类能力惊艳
💡 生活类比
"就像找翻译——图片和文字是两种语言,CLIP学会了它们之间的"词典",知道"猫"这个词对应什么样的图片特征"
🌍 真实应用
零样本图像分类、图像检索、目标检测(YOLO-World)、图文生成的基础组件,多模态模型的基石