无偏教师 v2：适用于无锚框和基于锚框检测器的半监督目标检测

一、论文信息论文题目Unbiased Teacher v2: Semi-supervised Object Detection for Anchor-free and Anchor-based Detectors论文作者Yen-Cheng Liu, Chih-Yao Ma, Zsolt Kira发表单位Georgia Institute of Technology, Meta发表期刊CVPR2022二、研究背景缺少针对无锚框检测器的半监督目标检测方案现有半监督目标检测相关研究主要聚焦于基于锚框的检测器直接迁移到无锚框检测器性能提升很差。根源是半监督场景下中心度得分不可靠、基于定位的标签分配对伪标签中的定位噪声缺乏鲁棒性。伪标签做边界框回归效果差传统教师-学生框架依靠置信度阈值筛选伪框做回归损失。单一分数无法表达框四条边界各自的定位质量分类置信度不能准确反映边界回归预测质量仅依靠教师置信度来选择伪标签无法过滤会误导回归训练的错误样本。三、本文创新点探究无锚框检测器半监督问题首次实证研究半监督方法在无锚框检测器上的表现识别出中心度、标签分配带来的核心问题实现半监督方法在无锚框、基于锚框两类检测器上通用。提出用于无监督回归损失的聆听学生Listen2Student机制新增边界定位不确定性分支对比师生模型的相对不确定性有助于在半监督设计下对回归分支实现正向改进。Unbiased Teacher v2 通用半监督检测框架一套框架同时兼容锚框、无锚框检测器弥补了半监督场景下两种检测器的性能差距。四、具体方法4.1 背景Ds{xis,yis}i1Ns D_s\{x_i^s,y_i^s\}_{i1}^{N_s}Ds​{xis​,yis​}i1Ns​​代表有标签数据集包含图像与对应的真实标注一共NsN_sNs​张Du{xiu}i1Nu D_u\{x_i^u\}_{i1}^{N_u}Du​{xiu​}i1Nu​​代表无标签数据集仅有图像X_i没有人工标注一共NuN_uNu​张现有研究包含两个阶段预热阶段和相互学习阶段。3. 监督损失在有标签数据集上计算Lsup∑iL(xis,yis). L_{sup}\sum_{i} L(x_i^s,y_i^s).Lsup​i∑​L(xis​,yis​).遍历所有有标签样本对单张有标签图像的检测损失求和。L内部就是检测器原生损失包括分类损失边框回归损失4. 无监督损失在无标注数据集上计算Lunsup∑iL(xiu,y^iu). L_{unsup}\sum_{i} L(x_i^u,\hat{y}_i^u).Lunsup​i∑​L(xiu​,y^​iu​).L(.)检测器损失函数分类回归4.2 无锚框检测器上的伪标签学习FCOS模型包含三个主要预测分支用于执行目标类别分类的分类器用于指示成为前景目标中心概率的中心性分支用于估计到目标边界距离的回归器发现半监督目标检测中无锚框检测器收益远不如锚框检测器全监督条件下无锚框检测效果更好但是半监督条件下这几个方法均有明显下降。把UT适配到无锚框模型直接迁移后性能下降F-RCNN有锚框FCOS无锚框全监督情况下无锚框能力略好于有锚框标注比例越少无锚框的mAP明显下降。说明传统伪标签方案在无锚框检测器上存在缺陷。中心偏差度问题FCOS打分逻辑Box Score分类得分*中心度中心度无锚框特有衡量采样点距离物体真实框中心有多远0~1用于惩罚定位不准的预测训练迭代-mAP曲线红色FCOS做法蓝色只用分类得分筛选伪标签。说明中心度在半监督场景起到负面作用。迭代次数-平均分数曲线中心度持续增大分类得分随着迭代次数增多分类得分反而逐步下降Box-Score缓慢下降说明中心度分支由于无标注数据输出值普遍很高但是分类分支在下降最终很多分类很差的框由于中心度很大最终也会被选为伪标签导致低质量伪标签持续输入训练也造成了a图后期的下降。不可靠的标签分配为提升全监督无锚框检测器的性能有两类高级标签分配策略基于边界框定位加权的软分类标签这类标签会根据边界框的定位情况进行加权FCOS的center-sampling中心采样只把距离物体中心足够近的像素记为前景框边缘像素视为背景在全监督场景下效果很好Pseudo‑box 伪标签框伪标签框本身已经偏移存在定位噪声Pseudo‑box伪标签框整体偏移算法直接把背景标记为前景精确率、召回率均为零Localization‑based Class. Label基于定位的软标签距离伪框中心越近前景权重越高算法将权重最高区域落在了背景只有极少像素在真实物体上Standard基础标准分配把整个伪框内全部像素标记为前景不做筛选此方法精确率召回率均高于另两种策略原因中心采样过分依赖框的中心准确度伪框中心一旦不准就会有大量标签分配出现问题解决方法只使用分类得分筛选伪框舍弃中心度分数分类器使用硬标签进行训练不再使用依靠框定位加权得到的软标签使用标准标签分配策略依旧没有解决伪框存在定位噪声的问题所以又提出了聆听学生板块4.3 用于无监督回归损失的Listen2Student4.3.1 回归任务中置信度阈值化的局限性置信度阈值筛选伪框在回归任务中依旧存在固有局限。虽然置信度阈值在分类任务中表现良好但无法有效过滤框回归中的误导性样本原因有常规检测器的回归分支只输出边界坐标没有预测定位不确定性分类置信度无法反映框定位质量单一分数中心度/交并比分数难以同时表示四个边界各自的预测质量回归输出为无界连续数值高置信度的教师模型依然可能输出误导性样本4.3.2聆听学生板块理想情况下的定义有真实GT时d~t\tilde{d}_td~t​教师回归预测dgd_gdg​真实回归标签GTd~s\tilde{d}_sd~s​学生回归预测有益样本∥d~t−dg∥≤∥d~s−dg∥\|\tilde{d}_t-d_g\| \le \|\tilde{d}_s-d_g\|∥d~t​−dg​∥≤∥d~s​−dg​∥教师预测比学生更准用教师结果监督学生误导样本∥d~t−dg∥∥d~s−dg∥\|\tilde{d}_t-d_g\| \|\tilde{d}_s-d_g\|∥d~t​−dg​∥∥d~s​−dg​∥学生预测更准不使用教师生成的伪标签但是半监督无标签数据没有真实标签所以新增分支定位不确定性分支用不确定性近似预测和GT的误差定位不确定性分支把边界回归看成高斯分布p(d∣x)N(d; d^, δ2)p(d|x) \mathcal{N}(d;\ \hat{d},\ \delta^2)p(d∣x)N(d;d^,δ2)d^\ \hat{d}d^回归分支预测的边界距离均值δ\ \deltaδ不确定性分支输出的标准差越大说明模型对这个边界预测越没把握有监督损失NPLL负幂对数似然损失Lregsup∑iηi(∑((ds−dg)22δs212log⁡δs2)2log⁡2π)\mathcal{L}_{reg}^{sup} \sum_{i} \eta_i\left(\sum\left(\frac{(d_s-d_g)^2}{2\delta_s^2}\frac12\log\delta_s^2\right)2\log2\pi\right)Lregsup​i∑​ηi​(∑(2δs2​(ds​−dg​)2​21​logδs2​)2log2π)dgd_gdg​GT真实边界距离dsd_sds​学生网络回归分支预测边界距离δs\delta_sδs​学生不确定性分支输出的不确定性标准差ηi\eta_iηi​预测框和真值框的交并比权重交并比越高该样本损失权重越大∑((ds−dg)22δs2)\sum\left(\frac{(d_s-d_g)^2}{2\delta_s^2}\right)∑(2δs2​(ds​−dg​)2​)回归误差项如果预测错了不确定性要变大以承担误差12log⁡δs2\frac12\log\delta_s^221​logδs2​正则项防止不确定性无限变大无监督回归损失利用师生不确定性做伪标签筛选Lregunsup{∑i∥d~ti−d~si∥,if δtiσ≤δsi0,otherwise\mathcal{L}_{reg}^{unsup} \begin{cases} \sum_i \|\tilde{d}_t^i-\tilde{d}_s^i\|, \text{if } \delta_t^i\sigma \le \delta_s^i \\ 0, \text{otherwise} \end{cases}Lregunsup​{∑i​∥d~ti​−d~si​∥,0,​ifδti​σ≤δsi​otherwise​训练阶段只有在教师不确定性显著小于学生时才添加无监督回归损失推理阶段直接丢弃不确定性分支只保留回归分支