1. CLIP模型架构概览双塔对比学习框架CLIPContrastive Language-Image Pre-training是OpenAI提出的多模态模型其核心思想是通过对比学习将图像和文本映射到同一语义空间。这个架构由两个并行的编码器组成图像编码器Vision Transformer/ViT和文本编码器BERT两者通过对比损失函数进行联合训练。我第一次接触CLIP时被它的设计哲学震撼到了——它不需要任何人工标注的类别标签仅通过海量的互联网图像-文本对就能学习到强大的跨模态表示能力。这种自监督学习方式让模型摆脱了对固定类别体系的依赖真正实现了开放世界的视觉理解。2. 图像编码器Vision Transformer详解2.1 图像分块(Patch)处理ViT处理图像的第一步是将输入图像分割成固定大小的patch。以224x224分辨率图像为例使用16x16的patch大小时会得到196个patch(224/16)²。每个patch被展平为768维向量16x16x3最终形成196x768的矩阵。# PyTorch实现示例 class PatchEmbed(nn.Module): def __init__(self, img_size224, patch_size16, in_chans3, embed_dim768): super().__init__() self.proj nn.Conv2d(in_chans, embed_dim, kernel_sizepatch_size, stridepatch_size) def forward(self, x): x self.proj(x) # [B, 3, 224, 224] - [B, 768, 14, 14] x x.flatten(2).transpose(1, 2) # [B, 768, 14*14] - [B, 196, 768] return x2.2 CLS Token与位置编码与传统CNN不同ViT需要添加两个关键组件CLS Token一个可学习的分类token最终会聚合全局信息用于分类位置编码因为Transformer本身没有位置概念需要显式添加位置信息# 添加CLS token和位置编码 cls_token nn.Parameter(torch.zeros(1, 1, embed_dim)) # 可学习参数 pos_embed nn.Parameter(torch.zeros(1, num_patches1, embed_dim)) # 位置编码 x torch.cat([cls_token.expand(x.shape[0], -1, -1), x], dim1) # 添加CLS token x x pos_embed # 添加位置编码2.3 Transformer编码层ViT的核心是多层Transformer编码器。每层包含多头注意力机制Multi-Head Attention前馈网络MLP层归一化LayerNorm残差连接Residual Connectionclass TransformerLayer(nn.Module): def __init__(self, dim, num_heads): super().__init__() self.attn nn.MultiheadAttention(dim, num_heads) self.mlp nn.Sequential( nn.Linear(dim, dim*4), nn.GELU(), nn.Linear(dim*4, dim) ) self.norm1 nn.LayerNorm(dim) self.norm2 nn.LayerNorm(dim) def forward(self, x): x x self.attn(self.norm1(x))[0] # 注意力残差 x x self.mlp(self.norm2(x)) # MLP残差 return x3. 文本编码器BERT架构解析3.1 文本token化处理文本首先被token化为子词单元subword然后添加特殊token[CLS]分类token用于聚合句子信息[SEP]分隔符标记句子结束# 使用HuggingFace的tokenizer示例 from transformers import BertTokenizer tokenizer BertTokenizer.from_pretrained(bert-base-uncased) text a photo of a cat tokens tokenizer(text, return_tensorspt, paddingTrue) # 输出{input_ids: tensor([[101, 1037, 3899, 1997, 1037, 4937, 102]]), # attention_mask: tensor([[1, 1, 1, 1, 1, 1, 1]])}3.2 Transformer文本编码文本编码器结构与ViT类似但有以下特点使用绝对位置编码而非可学习的位置编码包含注意力掩码attention mask处理变长输入最终使用[CLS]位置的输出作为句子表示class TextEncoder(nn.Module): def __init__(self, vocab_size, max_length, dim): super().__init__() self.token_embed nn.Embedding(vocab_size, dim) self.pos_embed nn.Parameter(torch.zeros(1, max_length, dim)) self.transformer Transformer(dim, num_layers12) def forward(self, x): x self.token_embed(x) self.pos_embed[:, :x.size(1)] x self.transformer(x) return x[:, 0] # 返回CLS位置的输出4. 对比学习多模态特征对齐4.1 对比损失函数CLIP使用对称的对比损失InfoNCE loss计算图像-文本相似度矩阵分别在行方向图像到文本和列方向文本到图像计算交叉熵损失取两个方向损失的平均值def contrastive_loss(logits_per_image, logits_per_text): # 假设batch_sizeNlabels是0到N-1的整数 labels torch.arange(logits_per_image.size(0)).to(device) # 图像到文本的损失 loss_i F.cross_entropy(logits_per_image, labels) # 文本到图像的损失 loss_t F.cross_entropy(logits_per_text, labels) return (loss_i loss_t) / 24.2 特征归一化与温度系数两个关键技巧提升训练稳定性L2归一化对图像和文本特征分别进行L2归一化可学习温度系数控制相似度得分的缩放比例# 特征归一化 image_features image_features / image_features.norm(dim1, keepdimTrue) text_features text_features / text_features.norm(dim1, keepdimTrue) # 计算相似度带温度系数 logit_scale nn.Parameter(torch.ones([]) * np.log(1/0.07)) logits_per_image logit_scale.exp() * image_features text_features.t()5. 实战零样本分类实现5.1 准备prompt模板CLIP的零样本能力依赖于设计良好的prompt模板。例如class_names [cat, dog, bird] templates [a photo of a {}, a picture of a {}, an image of a {}] text_inputs torch.cat([ clip.tokenize(template.format(class_name)) for class_name in class_names for template in templates ]).to(device)5.2 计算分类概率with torch.no_grad(): image_features model.encode_image(image) text_features model.encode_text(text_inputs) # 计算相似度 logits_per_image logit_scale * image_features text_features.t() # 平均多个模板的结果 logits_per_image logits_per_image.reshape(1, len(class_names), -1).mean(dim2) # 转换为概率 probs logits_per_image.softmax(dim-1).cpu().numpy()6. 训练技巧与优化策略6.1 大数据处理CLIP需要海量数据训练实践中使用分布式训练框架如Deepspeed采用混合精度训练AMP实现高效的数据流水线6.2 超参数设置关键超参数经验值批量大小32,768分布式训练学习率5e-4带线性warmup训练epoch32优化器AdamWβ10.9, β20.987. 模型变体与扩展应用CLIP家族有多种架构变体模型类型参数量图像编码器文本编码器RN5038MResNet-50TransformerRN10163MResNet-101TransformerViT-B/3288MViT-Base/32TransformerViT-L/14336px428MViT-Large/14336Transformer在实际项目中我发现ViT-B/32在精度和速度之间取得了很好的平衡。对于需要更高精度的场景ViT-L/14336px是更好的选择尽管它的计算成本要高得多。