eiT 的两种蒸馏方式#DeiT 出自 ViT 的同蒸馏而是针对 Transformer 的结构设计了两种蒸馏策略1.1 硬蒸馏 Hard Distillation#这种方式非常直接把 Teacher 的预测类别当作额外的监督信号。也就是说Student 同时学习两个标签数据的真实标签 和 Teacher 给出的预测标签 ^。其损失函数可以写为12(,)12(^,)要提前强调的是这里的公式只是通用形式实际上在 DeiT 中使用的不是同一个 下一部分就会展开。回到这里其实对比我们在上一篇展开的蒸馏过程这种方法看起来有些没必要只是多加一个标签预测正确没有更多信息预测错误反而影响拟合为什么要这么做要理解来说其实还是和 Teacher 本身的蒸馏意义相关而在于通过 Teacher 的预测结果引导 Student 在优化过程中靠近一个“更合理的决策边界”从而提升训练稳定性。比如真实标签是“狼”但 Teacher 预测结果是“狐狸”这样就可以让模型在“语义接近类别”之间间接引导模型学习更合理的决策边界。不过对比现代的蒸馏方法这种方法已经很少单独使用了我们知道就好。1.2 软蒸馏 Soft Distillation#第二种方式就是我们前面介绍的标准蒸馏让 Student 去拟合 Teacher 的概率分布。其损失函数为(1−)(∥)显然相比硬蒸馏这种方式包含更多信息在现代使用中也更主流。不过在 Transformer 之前蒸馏技术就已经出现如果只是在 ViT 中加入蒸馏技术本质上只是 AB 的工作罢了。DeiT 的关键创新点在于把“蒸馏过程”也做成了 Transformer 结构的一部分。我们下面来详细展开这部分逻辑2. DeiT 的核心改进#2.1 输入处理#DeiT 实现蒸馏逻辑的具体做法是在输入序列中再额外引入一个 distillation token。我们来理顺一遍首先是原始图像切分出的 patch token :[1,…,]在此基础上我们为了整合全局信息用于 CV 任务又加入了 [CLS] token :[,1,…,]而现在在 DeiT 的设计中我们再加入一个 Distillation token即蒸馏 token [,,1,…,]这个 就专门用于学习 Teacher 的信息。2.2 传播逻辑#知道又加了一个 distillation token 后和 [CLS] token 一样的问题是我们如何实现 distillation token 专门学习 Teacher 信息的语义答案的关键词是双输出结构。我们从原本的 ViT 来展开改进过程到这里你就会发现DeiT 并没有把学习真实标签和 Teacher 给出的预测标签混在一起而是解耦二者[CLS] token 只学习真正标签distillation token 只学习蒸馏标签。再展开一下在训练阶段DeiT 会产生两个输出CLS 分支主任务MLP()Distillation 分支蒸馏任务MLP()最终损失可以写为(,)(,)当然你也可以加入权重的设计。这样与传统蒸馏仅在模型输出端施加监督不同distillation token 会作为 Transformer 的一部分参与 self-attention 计算使得 teacher 信息能够在特征形成阶段被逐层融合从而影响模型的内部表示学习过程。值得一提的是DeiT 原论文的主要实验结论是基于 hard distillation 的soft 作为对照方法存在但未成为最优结果其损失形式如下12(,)12(,)实验结果表明在 CNN 到 ViT 的跨结构蒸馏场景中soft distillation 并未展现出优势。相反基于 hard label 的 distillation 更稳定也更符合 ViT 的优化特性因此成为最终采用的主方案。显然这带来的一个额外问题是那为什么 soft distillation 反而更主流答案并不是它在所有任务中更强而是它提供更多信息从而在跨任务、跨模型、跨领域的知识迁移中具有更高的通用性。可以简单概括来说hard distillation 学的是“答案”soft distillation 学的是“思考方式”。因此在 DeiT 这一分类应用中前者的作用更突出后者在这一模型中虽没有前者稳定但却是更广泛领域中的选择。实际上蒸馏技术不断发展早已不再满足这种仅仅对输出的蒸馏了现在已经有了对中间特征的蒸馏甚至自己蒸馏自己等更多