自动驾驶多目标跟踪MOTByteTrackFairMOTMOTR一、MOT基础定义与车载2D核心痛点1.1 多目标跟踪(MOT)定义多目标跟踪技术MOT旨在针对视频帧画面中感兴趣或想要追踪的目标进行检测并获取在图像中的位置且对每个目标分配唯一ID全程持续跟踪目标发生移动、遮挡时尽量保持ID不变输出连续完整目标轨迹。1.2 自动驾驶2D MOT特有痛点车载场景区别于普通监控行人跟踪存在六大难点相机随车辆移动存在大范围自运动多类别目标轿车、SUV、行人、两轮车等需要同步跟踪远距离小目标远处车辆像素极少路口、拥堵路段频繁相互遮挡车辆高速运动帧间目标位移大部分低成本前视设备低帧率采集。二、三大范式总览对比表范式核心流程训练数据要求核心优势核心缺陷适配场景一句话总结TBD(SORT/ByteTrack)单帧检测器输出框 → 卡尔曼匈牙利后处理匹配仅单帧检测标注无需时序视频标注模块化解耦、推理快、易轻量化迭代帧间无网络时序建模长遮挡易ID切换擅长远距离小目标、高速空旷道路不适合密集并排、长时间遮挡JDE(FairMOT/QDTrack)单网络共享特征同时输出检测框ReID特征分层匹配单帧标注少量ID标注无需完整视频时序数据单前向推理兼顾检测与外观短时遮挡ID稳定性优于纯IoU-TBD检测与ReID训练天然冲突无法同时拉满两项精度擅长近距离清晰目标不擅长远距离、半遮挡、微小车辆JDT(MOTR/MUTR3D)Transformer网络内部一体化检测时序关联无独立后处理匹配必须连续视频时序标注训练成本高密集拥堵、长遮挡下ID保持能力大幅领先前两类算力显存开销大原生检测偏弱模块耦合难迭代适合多相机BEV、重度拥堵场景不适合低算力设备、远距离小目标三、范式1TBD 检测后跟踪量产工业主流3.1 核心原理两阶段流水线架构每一帧独立运行检测器输出目标框再通过卡尔曼滤波做运动预测、匈牙利算法完成帧间匹配串联生成轨迹。3.2 优缺点✅ 优势完全模块化解耦检测器、跟踪模块分开开发迭代更换YOLO/BEVDet无需修改跟踪代码车企量产首选推理速度可控支持Nano/Tiny轻量化模型部署低端MCU、前视摄像头可自由组合ReID、雷达几何、相机运动补偿等插件训练门槛极低仅单帧检测标注即可训练不需要连续跟踪视频。❌ 缺陷6. 检测网络无法利用历史时序信息仅靠手工设计相似度做关联7. 遮挡、漏检直接切断轨迹ID切换(IDS)指标偏高8. 检测、关联无法联合优化理论性能上限低于端到端JDT。3.3 经典TBD论文车载2DSORT (ICIP 2016)极简基线仅卡尔曼IoU匹配无外观特征代码量少、实时性强但遮挡场景ID跳变严重。DeepSORT (ICIP 2017)SORT升级新增独立ReID网络分层匹配高分外观低分IoU早期YOLODeepS是前视标配但双网络推理速度慢。ByteTrack (ECCV 2022)行业SOTA标杆核心创新不丢弃低分检测框高分框优先匹配低分遮挡框二次IoU修复BDD100K多类别榜单第一目前大量车企替换DeepSORT。StrongSORT (ECCV 2024)ByteTrack强化方案加入相机运动补偿、自适应轨迹生命周期、轻量化ReID弯道、逆光车载场景效果全面超越ByteTrack。Tracktor (ICCV 2019)特殊TBD变体用上一帧轨迹框送入检测器回归当前位置省去大量匈牙利匹配仅适合低速车流高速大位移容易丢目标。四、范式2JDE 联合检测重识别算力中等折中方案4.1 核心原理单主干CNN共享特征一次前向推理同时输出两类分支检测头目标坐标、置信度、多类别ReID嵌入头每个目标128/256维外观特征推理后依旧使用卡尔曼、匈牙利等后处理分层匹配JDE仍属于TBD大类不是端到端JDT。4.2 优缺点✅ 优势仅单次CNN推理相比DeepSORT双模型速度大幅提升自带外观特征短时遮挡ID稳定性优于纯IoU-TBD部署简单单模型文件量化、TensorRT移植成本低训练仅需要少量ID标注不用完整时序视频。❌ 缺陷检测分支与ReID分支存在梯度、特征资源竞争二者目标冲突检测希望同类特征接近ReID希望同类不同车特征拉开无法同时做到检测、重识别性能双最优同等参量下远距离小目标召回弱于独立检测器。4.3 经典JDE论文JDE (ECCV 2020)JDE范式开山之作首次提出单网络同时输出检测ReID解决双网络推理冗余问题。FairMOT (IJCV 2021)JDE工业标杆通过特征对齐、均衡损失缓解检测/ReID冲突城市家用车中等算力域控主流选择。QDTrack (CVPR 2021)准稠密特征匹配不只用中心点特征车辆局部遮挡关联精度更高BDD榜单长期前列。UniTrack (2022)轻量化JDE针对车载相机抖动优化适配低成本前视摄像头。五、范式3JDT 端到端Transformer跟踪学术BEV前沿5.1 核心原理摒弃“检测后处理匹配”流水线Transformer内部统一完成检测与时序关联依靠Track Query跨帧传递历史轨迹注意力机制隐式完成帧间目标匹配无匈牙利、卡尔曼等手工关联模块。历史轨迹反向辅助当前帧检测双向联合优化。5.2 优缺点✅ 优势密集拥堵、长时间遮挡场景ID保持能力碾压TBD/JDEIDS指标极低天然适配多相机BEV架构2D方案可直接迁移3D MOT依靠数据自动学习运动、外观关联规则减少大量人工调参。❌ 缺陷Transformer编码器/解码器算力显存开销巨大仅高端Orin-X等高算力域控可部署训练必须连续视频时序标注数据采集与训练成本极高原生检测偏弱网络优先保证已有轨迹不丢失新生远距离小车容易漏检检测、跟踪强耦合改动其一就要完整重训量产迭代灵活性差。5.3 经典JDE论文分两类5.3.1 轻量化CNN-JDT低算力基线CenterTrack (ECCV2020)基于CenterNet输入双帧预测目标偏移极简端到端轻量基线TraDeS (CVPR2021)时序代价卷建模城市道路车辆遮挡恢复效果优秀。5.3.2 TrackQuery Transformer JDTBEV核心TrackFormer(arXiv2021)最早TrackQuery思路但仅两帧建模长时序效果差TransTrack(ECCV2022)半端到端仍依赖IoU匹配MOTR(ECCV2022)纯端到端标杆CAL时序损失TAN时序聚合整套3D跟踪体系的基础MeMOTR(ICCV2023)MOTR升级版增加长期记忆池大幅降低长遮挡ID切换MUTR3D(ICRA2023)MOTR从2D扩展到多相机BEV 3D Query纯视觉3D跟踪开山之作。六、自动驾驶2D MOT完整学习路线工程落地方向车企量产必学SORT → DeepSORT → ByteTrack → StrongSORT中等算力城市车折中方案JDE → FairMOT → QDTrackRobotaxi/BEV算法预研方向CenterTrack → MOTR → MeMOTR → MUTR3D车载特殊运动优化CenterTrack、自适应卡尔曼SG-LKF七、总结量产低成本ADAS、高速空旷道路优先选择ByteTrack这类TBD模块化、检测精度高、部署简单城市拥堵、算力中等家用车选用FairMOT等JDE平衡推理速度与短时遮挡ID稳定性高阶Robotaxi、多相机BEV感知研发采用MOTR系列JDT重度遮挡、密集车流场景跟踪上限更高选型核心取舍追求检测召回、工程迭代便捷选TBD追求短时遮挡ID稳定选JDE追求极端拥堵长遮挡、多相机一体化建模选JDT。