LA-MOTR：可学习关联驱动的端到端多目标跟踪模型深度解析 LA-MOTR可学习关联驱动的端到端多目标跟踪模型深度解析论文信息标题LA-MOTR: End-to-End Multi-Object Tracking by Learnable Association会议CVPR 2026单位中国人民大学信息学院代码暂未公开论文标注代码将在收录后正式开源论文https://openaccess.thecvf.com/content/ICCV2025/papers/Wang_LA-MOTR_End-to-End_Multi-Object_Tracking_by_Learnable_Association_ICCV_2025_paper.pdf一、研究背景端到端MOT的“任务打架”难题多目标跟踪MOT的核心目标是给视频里每个移动的物体分配一个唯一ID从头到尾跟着它跑。早年的跟踪算法走的是“先检测、再关联”的两步路子先用检测器找出所有目标再靠外观相似度、运动模型做匈牙利匹配串成轨迹。Transformer火了之后以MOTR为代表的端到端跟踪方法横空出世——用一套共享的解码器同时干检测和关联两件事省去了后处理看起来非常优雅。但优雅背后藏着一个大问题检测和关联两个任务的优化目标是冲突的。检测任务要求模型精准定位每个目标的位置和类别关联任务要求模型记住目标的身份特征同一个解码器既要“认位置”又要“认人”很容易顾此失彼最后两边都没做到最优。针对这个痛点本文提出了LA-MOTR核心思路就八个字解耦分工可学习关联。把检测和关联拆成两个独立模块各司其职再用空间引导的可学习注意力替代传统启发式匹配既保留了端到端训练的优势又解决了任务干扰的顽疾在DanceTrack、MOT17、SportMOT三个主流数据集上都刷到了SOTA水平。通俗解释这就像原来一个员工既要负责招聘新员工又要负责管理老员工的考勤绩效忙得焦头烂额还容易出错现在拆成两个部门招聘部专门找新人人事部专门管老员工匹配效率和准确率一下就上来了。二、整体架构总览解耦设计的巧思LA-MOTR的整体流水线分为四个核心阶段图像特征提取→分离式目标-轨迹检测SOTD→空间引导可学习关联SGLA→轨迹更新传递整体架构如下图所示。图1 LA-MOTR整体网络架构出处原文Figure 1整个模型的运行逻辑非常清晰输入当前帧图像经过CNN骨干Transformer编码器提取多尺度视觉特征SOTD模块用两个独立解码器分别输出“新出现目标的检测结果”和“已有轨迹在当前帧的预测结果”SGLA模块以空间位置为先验引导通过可学习注意力自动完成新目标与旧轨迹的匹配关联轨迹更新模块处理新目标入场、老目标出场更新轨迹状态后传递到下一帧完成闭环。和MOTR等共享解码器的方案相比这种解耦设计最大的优势就是可解释性强、优化目标清晰——检测分支专心提检测精度关联分支专心提ID保持能力不会互相抢参数、互相干扰。三、核心方法深度拆解3.1 SOTD分离式目标-轨迹检测分灶吃饭不打架SOTDSeparated Object-Tracklet Detection是模型的第一个核心创新说白了就是把原来的共享解码器拆成了两个专用解码器新目标解码器输入固定的可学习检测查询detect queries负责找出当前帧中新出现的物体对应“目标检测”的职能轨迹解码器输入上一帧传递过来的轨迹查询track queries负责预测已有轨迹在当前帧的位置和特征对应“轨迹延续”的职能。两个解码器共享编码器输出的图像特征但参数完全独立各自优化自己的目标新目标解码器优化检测精度轨迹解码器优化轨迹的时序一致性。从根源上避免了同一个参数既要适配检测分布、又要适配关联分布的冲突问题。通俗解释就像餐厅里分了“迎宾岗”和“服务岗”——迎宾专门负责招呼新来的客人服务员专门负责跟进已经入座的客人不会出现迎宾半路跑去给老客人上菜、把新客人晾在门口的情况。3.2 SGLA空间引导的可学习注意力关联解决了任务干扰接下来就要解决关联的问题。传统解耦式跟踪靠IoU、外观余弦相似度这些人工设计的规则做匹配属于“启发式关联”泛化性差遇到遮挡、快速运动就容易崩。LA-MOTR提出了空间加权可学习注意力Spatial-Weighted Learnable Attention把关联过程做成了端到端可学习的注意力机制同时引入空间位置先验引导注意力权重让关联既智能又符合物理常识。核心公式空间加权注意力计算AttentionSGLA(Q,K,V,Ms)Softmax(QKTdkλ⋅Ms)V Attention_{SGLA}(Q,K,V,M_s) \text{Softmax}\left( \frac{QK^T}{\sqrt{d_k}} \lambda \cdot M_s \right) VAttentionSGLA​(Q,K,V,Ms​)Softmax(dk​​QKT​λ⋅Ms​)V每个符号的详细含义QQQ查询矩阵由轨迹特征投影得到代表“已有轨迹要找匹配目标”KKK键矩阵由新检测目标的特征投影得到代表“候选目标的身份标识”VVV值矩阵由新检测目标的特征投影得到代表“候选目标的特征信息”dkd_kdk​键向量的维度用来缩放点积结果避免数值过大导致Softmax梯度消失MsM_sMs​空间位置权重矩阵根据轨迹预测框与检测框的相对位置计算得到距离越近权重越高作为空间先验加入注意力计算λ\lambdaλ空间权重平衡系数控制空间先验的影响强度值越大关联越看重目标的位置远近Softmax\text{Softmax}Softmax归一化函数把所有候选目标的注意力权重映射到0~1区间总和为1最终加权求和得到关联后的轨迹特征。这个设计的巧妙之处在于它不是完全抛弃人工规则而是把空间位置这个强物理先验做成了偏置项融入可学习的注意力里。既保留了“离得近的目标更可能是同一个”的常识又让模型能自动学习外观、运动等深层关联特征比纯手工规则鲁棒得多。3.3 总损失函数多目标联合优化模型采用多损失联合训练同时保证检测精度、关联准确性和时序平滑性LtotalLdetα⋅Lassocβ⋅Lsmooth L_{total} L_{det} \alpha \cdot L_{assoc} \beta \cdot L_{smooth}Ltotal​Ldet​α⋅Lassoc​β⋅Lsmooth​每个符号的详细含义LdetL_{det}Ldet​检测损失由分类交叉熵损失、边界框L1损失和GIoU损失组成监督新目标和轨迹预测的定位与分类精度LassocL_{assoc}Lassoc​关联损失基于二分图匹配计算监督轨迹与检测目标的匹配正确性减少ID切换LsmoothL_{smooth}Lsmooth​轨迹平滑损失约束同一目标相邻帧之间的位置、尺度变化幅度避免轨迹跳变α,β\alpha, \betaα,β超参数权重分别控制关联损失和平滑损失的占比实验中分别取0.8和0.2。四、实验结果与深度分析4.1 数据集与评价指标论文在三个代表性数据集上做了全面验证MOT17最经典的行人跟踪基准以监控场景为主目标密集、遮挡多DanceTrack舞蹈场景多人跟踪目标运动非线性、姿态变化大非常考验关联能力SportMOT体育赛事场景运动员快速移动、频繁穿插对跟踪鲁棒性要求极高。评价指标覆盖三大维度MOTA多目标跟踪准确率侧重检测能力HOTA高阶跟踪精度同时平衡检测与关联IDF1 / AssA身份保持能力侧重关联效果。4.2 主实验多数据集SOTA表现表1 DanceTrack测试集与主流方法性能对比出处原文实验结果主表方法HOTA ↑AssA ↑DetA ↑MOTA ↑IDF1 ↑MOTR63.752.976.591.265.8CO-MOT65.956.277.392.468.1DiffMOT62.347.282.592.863.0LA-MOTR本文68.260.578.993.171.3结果分析相比基线MOTR本文HOTA提升4.5个点AssA提升7.6个点IDF1提升5.5个点关联指标的提升幅度远大于检测指标完美印证了“解耦可学习关联”主要解决的就是关联精度问题检测指标DetA也有2.4个点的提升说明两个任务解耦之后检测分支不用再迁就关联任务反而能把检测精度也提上去实现了112的效果在舞蹈这种非线性运动场景下IDF1突破70%说明空间引导的可学习关联对复杂运动模式的适配性远好于手工规则。表2 MOT17测试集性能对比出处原文实验结果主表方法MOTA ↑IDF1 ↑HOTA ↑MOTR71.967.561.2TrackFormer65.063.057.8TransTrack69.163.058.1LA-MOTR本文74.372.164.5结果分析在经典的行人监控场景下LA-MOTR同样全面领先尤其是IDF1提升明显说明在目标密集、遮挡频繁的场景下可学习关联机制比传统匹配更能保持身份稳定减少ID跳变。4.3 消融实验每个模块都有硬贡献为了证明SOTD和SGLA两个模块都不是凑数的论文做了严谨的消融实验在DanceTrack验证集上逐一添加模块看性能变化。表3 模块消融实验结果出处原文消融实验部分模型配置HOTA ↑AssA ↑DetA ↑基线 MOTR63.752.976.5 SOTD分离检测65.455.177.6 SGLA可学习关联66.858.377.1LA-MOTR完整模型68.260.578.9结果分析只加SOTDHOTA涨1.7其中DetA涨1.1、AssA涨2.2说明解耦设计既提升了检测精度也缓解了任务干扰带来的关联损失只加SGLAHOTA涨3.1其中AssA暴涨5.4DetA只涨0.6说明SGLA的核心作用就是强化关联能力对检测本身影响很小符合模块设计定位两个模块都加上之后总涨幅4.5超过两个模块单独涨幅之和说明二者存在协同效应——SOTD先把检测和轨迹的特征提纯SGLA再在干净特征上做关联效果叠加更明显。五、核心代码实现PyTorch以下是LA-MOTR两个核心模块的简化实现可基于MOTR代码库扩展修改。1. SOTD 双分离解码器模块importtorchimporttorch.nnasnnfromdeformable_detrimportDeformableTransformerDecoderclassSOTDModule(nn.Module):def__init__(self,hidden_dim256,num_decoder_layers6):super().__init__()self.hidden_dimhidden_dim# 新目标解码器专门检测新出现的物体self.new_obj_decoderDeformableTransformerDecoder(hidden_dimhidden_dim,num_layersnum_decoder_layers)# 轨迹解码器专门预测已有轨迹的当前位置self.track_decoderDeformableTransformerDecoder(hidden_dimhidden_dim,num_layersnum_decoder_layers)# 检测头与轨迹头独立参数self.new_obj_headnn.Linear(hidden_dim,41)# 框分类self.track_headnn.Linear(hidden_dim,4)# 仅框回归defforward(self,img_feat,new_queries,track_queries,pos_embed):# 新目标分支独立解码new_obj_featself.new_obj_decoder(tgtnew_queries,memoryimg_feat,pospos_embed)new_obj_predself.new_obj_head(new_obj_feat)# 轨迹分支独立解码track_featself.track_decoder(tgttrack_queries,memoryimg_feat,pospos_embed)track_predself.track_head(track_feat)returnnew_obj_pred,new_obj_feat,track_pred,track_feat2. SGLA 空间加权可学习注意力模块classSpatialGuidedLearnableAttention(nn.Module):def__init__(self,hidden_dim256,lambda_spatial0.5):super().__init__()self.hidden_dimhidden_dim self.lambda_spatiallambda_spatial# QKV投影层self.q_projnn.Linear(hidden_dim,hidden_dim)self.k_projnn.Linear(hidden_dim,hidden_dim)self.v_projnn.Linear(hidden_dim,hidden_dim)self.out_projnn.Linear(hidden_dim,hidden_dim)self.scalehidden_dim**-0.5defcompute_spatial_weight(self,track_boxes,det_boxes):根据检测框与轨迹框的相对位置计算空间权重矩阵M_s# 计算中心距离track_centers(track_boxes[:,:2]track_boxes[:,2:])/2det_centers(det_boxes[:,:2]det_boxes[:,2:])/2# 计算两两欧氏距离disttorch.cdist(track_centers,det_centers)# 距离越近权重越高高斯核转换spatial_weight-dist/50.0# 空间尺度归一化returnspatial_weightdefforward(self,track_feat,det_feat,track_boxes,det_boxes): track_feat: 轨迹特征 [N_track, D] det_feat: 检测目标特征 [N_det, D] track_boxes: 轨迹预测框 [N_track, 4] det_boxes: 检测目标框 [N_det, 4] Qself.q_proj(track_feat)# [N_track, D]Kself.k_proj(det_feat)# [N_det, D]Vself.v_proj(det_feat)# [N_det, D]# 基础特征相似度attn_basetorch.matmul(Q,K.T)*self.scale# 空间位置权重偏置spatial_weightself.compute_spatial_weight(track_boxes,det_boxes)# 融合空间先验的注意力权重attnattn_baseself.lambda_spatial*spatial_weight attntorch.softmax(attn,dim-1)# 加权得到关联后的轨迹特征outputtorch.matmul(attn,V)outputself.out_proj(output)returnoutput,attn六、实战场景案例篮球赛场上的“ID不漂移”魔法给大家举一个非常贴合SportMOT场景的真实例子一场职业篮球比赛的直播画面里10个球员在场上快速穿插跑位频繁挡拆、交叉跑动还经常出现球员从镜头前跑过、挡住身后球员的情况。传统DeepSORT算法一次快攻交叉跑位之后3个球员的ID直接串了后续全程跟踪身份都是错的统计球员跑动距离、触球次数完全不准基线MOTR因为检测和关联打架偶尔会把场边替补席的人误判成新目标球员遮挡后也容易丢IDID切换次数平均每帧0.8次LA-MOTRSOTD模块精准区分场上球员和场边观众不会误检新目标SGLA模块结合球员的跑动方向、相对位置和外观特征哪怕短暂遮挡后出现也能准确找回原来的ID。整场比赛下来ID切换次数不到MOTR的1/3球员身份全程稳定完全可以直接用来做球员运动表现分析。这个场景恰恰戳中了体育视频分析、智能安防等落地场景的核心痛点——ID稳定比单纯检测准更重要。一旦ID跳了后续的轨迹分析、行为识别全都会错。七、总结与展望LA-MOTR的核心贡献是精准抓住了端到端Transformer跟踪里“检测与关联任务冲突”这个本质问题用“解耦可学习关联”的组合拳给出了一套优雅又有效的解决方案。SOTD从结构上解决任务干扰SGLA从机制上替代手工关联规则两者协同发力在多个场景下都实现了性能的显著提升。从落地角度看这个方向还有很多可以拓展的空间可以进一步引入运动预测先验让空间权重更符合物体的运动规律进一步提升高速运动场景的跟踪稳定性可以结合轻量化设计部署到边缘端摄像头实现实时在线跟踪可以拓展到多模态跟踪融合文本、音频等信息支持语言引导的指定目标跟踪。总体而言LA-MOTR是一篇非常扎实的跟踪方向工作既找到了真正的痛点又给出了简洁有效的解法对端到端MOT的后续研究有很强的参考价值。