clip

CLIP - 对比式语言-图像预训练

OpenAI 的模型，可通过自然语言理解图像。

何时使用 CLIP

适用于：

• 零样本图像分类（无需训练数据）
• 图像-文本相似度／匹配
• 语义图像搜索
• 内容审核（检测 NSFW、暴力内容）
• 视觉问答
• 跨模态检索（图像→文本、文本→图像）

指标：

• 使用 4 亿组图像-文本对进行训练
• 在 ImageNet 上的表现与 ResNet-50 相当（零样本）
• MIT License

可改用其他方案：

• BLIP-2：更擅长生成图像说明
• LLaVA：视觉语言聊天
• Segment Anything：图像分割

快速开始

安装

pip install git+https://github.com/openai/CLIP.git
pip install torch torchvision ftfy regex tqdm

零样本分类

import torch
import clip
from PIL import Image

# Load model
device = "cuda" if torch.cuda.is_available() else "cpu"
model, preprocess = clip.load("ViT-B/32", device=device)

# Load image
image = preprocess(Image.open("photo.jpg")).unsqueeze(0).to(device)

# Define possible labels
text = clip.tokenize(["a dog", "a cat", "a bird", "a car"]).to(device)

# Compute similarity
with torch.no_grad():
    image_features = model.encode_image(image)
    text_features = model.encode_text(text)

    # Cosine similarity
    logits_per_image, logits_per_text = model(image, text)
    probs = logits_per_image.softmax(dim=-1).cpu().numpy()

# Print results
labels = ["a dog", "a cat", "a bird", "a car"]
for label, prob in zip(labels, probs[0]):
    print(f"{label}: {prob:.2%}")

可用模型

# Models (sorted by size)
models = [
    "RN50",           # ResNet-50
    "RN101",          # ResNet-101
    "ViT-B/32",       # Vision Transformer (recommended)
    "ViT-B/16",       # Better quality, slower
    "ViT-L/14",       # Best quality, slowest
]

model, preprocess = clip.load("ViT-B/32")

模型	参数量	速度	质量
RN50	102M	快	良好
ViT-B/32	151M	中等	更好
ViT-L/14	428M	慢	最佳

图像-文本相似度

# Compute embeddings
image_features = model.encode_image(image)
text_features = model.encode_text(text)

# Normalize
image_features /= image_features.norm(dim=-1, keepdim=True)
text_features /= text_features.norm(dim=-1, keepdim=True)

# Cosine similarity
similarity = (image_features @ text_features.T).item()
print(f"Similarity: {similarity:.4f}")

语义图像搜索

# Index images
image_paths = ["img1.jpg", "img2.jpg", "img3.jpg"]
image_embeddings = []

for img_path in image_paths:
    image = preprocess(Image.open(img_path)).unsqueeze(0).to(device)
    with torch.no_grad():
        embedding = model.encode_image(image)
        embedding /= embedding.norm(dim=-1, keepdim=True)
    image_embeddings.append(embedding)

image_embeddings = torch.cat(image_embeddings)

# Search with text query
query = "a sunset over the ocean"
text_input = clip.tokenize([query]).to(device)
with torch.no_grad():
    text_embedding = model.encode_text(text_input)
    text_embedding /= text_embedding.norm(dim=-1, keepdim=True)

# Find most similar images
similarities = (text_embedding @ image_embeddings.T).squeeze(0)
top_k = similarities.topk(3)

for idx, score in zip(top_k.indices, top_k.values):
    print(f"{image_paths[idx]}: {score:.3f}")

内容审核

# Define categories
categories = [
    "safe for work",
    "not safe for work",
    "violent content",
    "graphic content"
]

text = clip.tokenize(categories).to(device)

# Check image
with torch.no_grad():
    logits_per_image, _ = model(image, text)
    probs = logits_per_image.softmax(dim=-1)

# Get classification
max_idx = probs.argmax().item()
max_prob = probs[0, max_idx].item()

print(f"Category: {categories[max_idx]} ({max_prob:.2%})")

批处理

# Process multiple images
images = [preprocess(Image.open(f"img{i}.jpg")) for i in range(10)]
images = torch.stack(images).to(device)

with torch.no_grad():
    image_features = model.encode_image(images)
    image_features /= image_features.norm(dim=-1, keepdim=True)

# Batch text
texts = ["a dog", "a cat", "a bird"]
text_tokens = clip.tokenize(texts).to(device)

with torch.no_grad():
    text_features = model.encode_text(text_tokens)
    text_features /= text_features.norm(dim=-1, keepdim=True)

# Similarity matrix (10 images × 3 texts)
similarities = image_features @ text_features.T
print(similarities.shape)  # (10, 3)

与向量数据库集成

# Store CLIP embeddings in Chroma/FAISS
import chromadb

client = chromadb.Client()
collection = client.create_collection("image_embeddings")

# Add image embeddings
for img_path, embedding in zip(image_paths, image_embeddings):
    collection.add(
        embeddings=[embedding.cpu().numpy().tolist()],
        metadatas=[{"path": img_path}],
        ids=[img_path]
    )

# Query with text
query = "a sunset"
text_embedding = model.encode_text(clip.tokenize([query]))
results = collection.query(
    query_embeddings=[text_embedding.cpu().numpy().tolist()],
    n_results=5
)

最佳实践

1. 大多数情况下使用 ViT-B/32 - 平衡性良好
2. 归一化嵌入向量 - 计算余弦相似度时必需
3. 批处理 - 效率更高
4. 缓存嵌入向量 - 重新计算开销很大
5. 使用描述性标签 - 零样本表现更好
6. 建议使用 GPU - 速度快 10-50×
7. 预处理图像 - 使用提供的 preprocess 函数

性能

操作	CPU	GPU (V100)
图像编码	~200ms	~20ms
文本编码	~50ms	~5ms
相似度计算	<1ms	<1ms

局限性

1. 不适用于细粒度任务 - 更适合宽泛类别
2. 需要描述性文本 - 模糊标签的表现较差
3. 受网络数据影响 - 可能存在数据集偏差
4. 没有边界框 - 仅处理整张图像
5. 空间理解能力有限 - 对位置和计数的理解较弱

资源

• GitHub：https://github.com/openai/CLIP ⭐ 25,300+
• 论文：https://arxiv.org/abs/2103.00020
• Colab：https://colab.research.google.com/github/openai/clip/
• 许可证：MIT

Agent 操作流程

1. 检查环境。 确认 GPU 内存、模型检查点和许可证、框架版本及输入格式。
2. 明确输入。 根据数据或用户确认格式、标识符和参数。任何会改变结果的值都应询问，而非猜测。
3. 先运行小规模版本。 首先以低分辨率或较短长度对单个样本运行推理。
4. 使用上述说明和参考资料执行完整任务。
5. 验证结果。 通过定性方式和任务指标检查输出；检查生成内容的许可证限制。
6. 报告。 说明运行了什么（版本、命令、参数）、检查了什么，以及仍有哪些不确定之处。

如果发生这种情况	请执行以下操作
大型输入导致内存不足	降低分辨率或序列长度、使用半精度，或将输入分块处理。
这些说明中提到的函数、标志或端点在已安装版本中不存在	查阅已安装版本自带的文档（help()、--help、官方文档），进行调整并告知用户。切勿编造 API。
必需的输入、标识符或参数不明确	询问用户，或在运行前明确说明所采用的假设。

诚信规则

• 切勿捏造结果、参数、标识符、引文或统计数据。如果无法运行或验证某项内容，请明确说明。
• 商用或发布内容前，检查模型和数据集许可证。
• 此处与特定版本相关的细节可能已过时：请对照已安装版本的官方文档进行确认。
• 涉及费用、占用共享 GPU 或云配额、处理个人或患者数据，或无法撤销的操作前，请先征求同意。

相关技能

• llava：大型语言和视觉助手。
• blip-2-vision-language：介绍如何通过 HuggingFace Trans… 使用 Salesforce BLIP-2（Q-Former 连接冻结的图像编码器与 OPT 或 FlanT5 等大模型）。
• segment-anything-model：支持零样本迁移的图像分割基础模型。