【3D点云暑期学习】对比学习(2)五模型对齐机制全景对比CLIP / BLIP / ALBEF / CoCa / BLIP-2研0暑期进组学习 · 3D点云多模态方向 · 对比学习系列第 2 篇对比范围CLIP(2021) · BLIP(2022) · ALBEF(2021) · CoCa(2022) · BLIP-2(2023)对比背景第二周一口气精读了 5 篇视觉语言预训练VLP论文。它们不是孤立的而是一条清晰的演进链从双塔硬对比 → “对齐融合” → “检索生成一体” → “轻量桥接 大模型外挂”。一个自然的问题是这 5 个模型到底哪些是相同的、哪些是变了的、为什么这么变谁更适合作为我 3D 点云方向的地基这篇对比博文就是回答这个问题的。核心内容基于本人整理的多模态对齐机制全景梳理.md为 CSDN 阅读友好这里用 Markdown 表格重新呈现并补上 3D 主线迁移思考。注若把多模态模型比作人——CLIP 是听力极好的速记员能高效判断图文是否匹配但不懂深层语义、不会生成BLIP 是既懂又说的演说家判别生成统一ALBEF 是先对齐再深聊的思考者CoCa 是一个大脑干四活的万能工BLIP-2 是用小钩子撬动大大脑的外交官。架构对照总表维度CLIPBLIPALBEFCoCaBLIP-2异同对齐方式纯双塔对比(InfoNCE)超大batch供负样本ITC对比动量编码器软标签ITC(动量队列65536小batch拿海量负样本)对比损失(全局嵌入vs单模态解码器输出)ITC(Q-Former输出vs文本)❌ 差异融合策略无融合(双塔解耦)晚期融合(图文编码器开CA做ITM)晚期融合(多模态编码器MLMITM)解耦式融合(底层无CA顶层有CA)Q-Former桥接(Query与图CA)→投影LLM❌ 差异是否生成否是(LM自回归)否是(字幕生成损失)是(LLM生成)❌ 差异关键创新双塔解耦、Prompt工程、可学习τ、zero-shotMED三形态、CapFilt自举、动量编码器融合前对齐、MoD、动量队列、硬负样本挖掘解耦式解码器、单次前向双损失、可学习注意力池化(1/256 Query)Q-Former(32 Query探针)、冻结图像编码器冻结LLM、两阶段训练❌ 差异负样本来源超大batch(32768/65536)动量队列batch动量队列(65536)batch内batch内(ITC)❌ 差异双塔对比(全局对齐)●●●●●✅ 相同晚期融合(CA)—●●●●❌ 差异Q-Former桥接————●❌ 差异● 核心采用— 未采用核心相同点相同一双塔对比ITC是最大公约数5 个模型全部采用图像-文本对比学习做全局对齐。无论后续怎么演进、加不加融合、生不生成先把图文拉到同一共享语义空间这一步从没丢过。这说明 ITC 式对比对齐是多模态预训练的基石——也是 CLIP 留给整个领域最宝贵的遗产。相同二都基于 Transformer 编码视觉CLIP(ViT/ResNet)、BLIP、ALBEF、CoCa、BLIP-2 的视觉塔都基于 ViT或 ResNet文本塔都是 Transformer/BERT。统一的 Transformer 骨架是它们能互相借鉴、快速演进的前提。相同三都用对比学习把自然语言当监督5 个模型都抛弃了固定类别标签用自然语言描述当监督信号。这正是 CLIP 开创的范式——也是它们能 zero-shot / 开放词汇的根本原因。核心差异点差异一融合策略的三级跳CLIP完全无融合双塔解耦→ 检索极快但无细粒度理解BLIP / ALBEF晚期融合交叉注意力 CA→ 加了细粒度理解与匹配但牺牲 O(1) 检索效率CoCa解耦式融合底层单模态 顶层多模态→ 单次前向同时拿单模态(检索)与多模态(生成)表征BLIP-2Q-Former 桥接 → 不再做重融合而是用轻量适配器把视觉喂给冻结 LLM。差异二计算成本转移的方向每一代都在把昂贵的东西挪到便宜的地方CLIP用超大 batch换负样本显存贵ALBEF用动量队列换小 batch内存便宜BLIP-2用冻结大模型换训练可行性省反向传播。差异三噪声对抗的两条路BLIP 的 CapFilt从外部改数据——生成合成描述 过滤噪声文本ALBEF 的 MoD从内部改目标——用动量模型产软标签软化监督。殊途同归都是对抗网络噪声。差异四是否生成 / 借力大模型CLIP、ALBEF不生成BLIP、CoCa自带生成LM / Captioning 损失BLIP-2借力外部 LLM 生成自己只训 Q-Former。设计洞见1. 检索与生成的张力是主旋律。双塔对比天然利于检索特征可缓存、O(1) 匹配但缺深层交互生成需要晚期融合 CA却牺牲检索效率。CoCa 用解耦式解码器在两者间取得最优平衡是范式统一的关键一步。2. 计算成本的腾挪是工程智慧。从超大 batch → 动量队列 → 冻结大模型每一代都在把不可承受之重挪到可承受之处。这提醒我读论文不只看方法要看它把成本转移到了哪。3. 数据/标签工程是独立支线。CapFilt改数据与 MoD改目标被 BLIP / ALBEF 各自独占说明对抗噪声没有唯一解两条路都走得通。4. Q-Former 是桥接范式的孤峰。BLIP-2 独有的轻量适配器 冻结大模型代表了 2D 多模态的一个新方向——也是通向 3D 大模型的最近一条路。预训练范式知识图谱关键观察双塔对比是最大公约数5 模型全采用ITC 式对齐是基石晚期融合是理解能力的来源除 CLIP 外 4 个都用 CA 做深层融合早期融合最少见仅 CoCa 通过解耦解码器触及底层单模态 顶层多模态的折中说明浅层交互因表征污染被边缘化Q-Former 是桥接范式的孤峰BLIP-2 独有。演进时间线2021.01 CLIP ── 双塔对比奠基zero-shot 检索之王 │ ├─→对齐融合双阶段 2021.05 BLIP ── MED 三形态 CapFilt 自举首试理解生成兼顾 2021.07 ALBEF ── 融合前对齐 动量蒸馏理解能力登顶但不生成 │ ├─→范式统一 2022.05 CoCa ── 解耦式解码器单架构覆盖检索生成三位一体 │ ├─→借力大模型 2023.01 BLIP-2 ── Q-Former 桥接冻结 LLM以小撬大生成能力跃升对 3D 点云主线的迁移思考这一周的横评对我主攻的 3D 点云方向有直接的选地基指导意义双塔对比是 2D→3D 统一表示的基石ULIP 用 CLIP 冻结的图像/文本编码器引导 3D 编码器对齐到统一空间本质就是 CLIP 的 ITC 搬到 3D。读懂 CLIP就懂了 ULIP/Uni3D 的底层。晚期融合交叉注意力是 3D 理解能力的来源Point-Bind 把 3D 与图像/文本/音频统一空间靠的就是多模态融合。BLIP/ALBEF 的 ITM 硬负样本挖掘可直接迁移到点云-文本匹配的细粒度对齐。ALBEF 的动量队列 / MoD 救 3D 小数据3D 数据集ShapeNet 子集远小于 2D用超大 batch 不现实。借鉴 ALBEF 的动量队列在小 batch 拿海量负样本、用 MoD 软标签去噪是 3D 对比学习更务实的方案。CoCa 的解耦解码器 → 3D 统一表征一个解码器同时产单模态(检索) 多模态(生成)表征正好对应未来 3D 基础模型分类/检索/描述一体的需求其可学习 Query 池化与 PointNet 的分组聚合思想相通。BLIP-2 的 Q-Former 是 3D-LLM 的蓝图Point-LLM Point-Bind LLM范式与 BLIP-2 完全一致轻量桥接 冻结 LLM。读懂 Q-Former就等于提前读懂了 3D 大模型推理怎么做。一句话总结5 个模型的演进本质是从解耦对齐走向统一理解与生成再到轻量桥接 大模型外挂——而这条线正好映射到 3D 里 PointCLIP(复用CLIP) → Point-Bind(对齐多模态) → Point-LLM(接LLM) 的演进。本周系列博文精读笔记(3)CLIP精读笔记(4)BLIP精读笔记(5)ALBEF精读笔记(6)CoCa精读笔记(7)BLIP-2对比学习(2)五模型对齐机制对比 ← 当前周报(2)第二周学习总结上一篇精读笔记(7)BLIP-2下一篇周报(2)第二周学习总结
)
