
一、本文介绍本文记录的是利用PolaLinearAttention极性感知线性注意力模块优化RT-DETR的目标检测网络模型。PolaLinearAttention通过Q/K极性分解、双路可学习符号加权融合与可学习幂函数降熵结合,在保持线性复杂度的同时完整恢复Query-Key正负交互并生成低熵尖锐注意力。本文利用PolaLinearAttention模块,先将查询与键分解为正负分量建模全符号交互,再以可学习矩阵自适应加权同符号与反符号贡献,通过可学习幂函数降低注意力分布熵,对关键目标特征进行精准聚焦、抑制无效均匀权重与背景噪声干扰,在注意力建模阶段实现完整特征关系与低熵尖锐分布的高效兼顾,摆脱传统线性注意力信息丢失与Softmax二次复杂度缺陷,显著提升视觉Transformer在分类、检测、分割任务中的精度与效率。专栏目录:RT-DETR改进目录一览 | 涉及卷积层、轻量化、注意力、损失函数、Backbone、SPPF、Neck、检测头等全方位改进专栏地址:RT-DETR改进专栏——以发表论文的角度,快速准确的找到有效涨点的创新点!文章目录一、本文介绍二、PolaLinearAttention 介绍2.1 设计出发点2.2 模块结构2.3 模块优势三、PolaLinearAttention的实现代码四、创新模块4.1 改进点1⭐4.2 改进点2⭐4.2 改进点3⭐五、添加步骤5.1 修改一5.2 修改二5.3 修改三六、yaml模型文件6.1 rtdetr-l版本6.2 rtdetr-resnet50版本6.3 rtdetr-resnet18版本六、成功运行结果二、PolaLinearAttention 介绍2.1 设计出发点传统线性注意力仅保留非负特征,丢失 Query-Key 负向交互信息,导致注意力图熵高、区分度差;且缺少类似 Softmax 的尖锐性,权重分布过于平均,表达能力弱于原版自注意力。因此提出极性感知线性注意力 PolaLinearAttention,完整保留正负交互并降低熵值。2.2 模块结构PolaLinearAttention(极性感知线性注意力)结构:极性分解:将 Q、K 拆分为正、负分量,建模同符号(正正、负负)与反符号(正负、负正)全交互;双路可学习融合:按通道拆分 V 为两路,分别处理同符号/反符号响应,用可学习矩阵G s G^sG