摘要多传感器融合 SLAM 方案众多但几乎都绑定特定传感器组合VINS 只做视觉惯性LIO-SAM 只支持激光 IMU跨平台切换就得重写状态变量和因子图。Ultra-Fusion 提出统一滑动窗口估计器将激光、视觉、IMU、轮速、GNSS 五类残差放进同一个优化窗口配合因子级可靠性调度FRS和在线时空自校准OSC在自动驾驶、仓储机器人、四足配送、无人机巡检四类平台上均完成验证5 大公开数据集对比 60 开源系统全部达到 SOTA。论文Ultra-Fusion: A Resilient Tightly-Coupled Multi-Sensor Fusion SLAM Framework under Sensor Degradation and Spatiotemporal Perturbation for Intelligent Transportation Systems代码Ultra-Fusion (GitHub)项目主页ultrafusion-web数据集M3DGR一、问题背景为什么需要大一统现有多传感器 SLAM 框架面临三大痛点痛点具体表现代表方案传感器绑定方案只支持固定传感器组合增减一个传感器就要重写VINS-Mono (VI), LIO-SAM (LI), FAST-LIVO (LVI)退化脆弱隧道 GNSS 丢失、暗光相机失效、狭长走廊激光退化一碰就崩多数方案无退化检测或仅前端简单过滤外参/时序漂移长时间运行后标定参数偏移误差持续累积多数方案依赖离线标定不支持在线修正Ultra-Fusion 的核心思路一套后端兼容所有模态内置退化调度 在线校准跨平台免改代码。图 0Ultra-Fusion 多平台部署总览 – 一套代码适配轮式、四足、无人机三类移动平台。来源[Ultra-Fusion] Fig 1二、核心方法2.1 整体框架统一滑动窗口估计器图 1Ultra-Fusion 整体架构 – 五类传感器观测统一进入滑动窗口由 FRS 动态调权OSC 在线校准时空参数。重绘自 design skill图 3Ultra-Fusion 完整系统流程图 – 展示从传感器原始数据到统一估计器的完整数据流。来源[Ultra-Fusion] Pipeline Figure传统方案把激光里程计、视觉里程计当作外部先验塞进优化窗口本质是二次信息压缩丢失原始观测的精细约束。Ultra-Fusion 直接将五类原始残差放入同一窗口激光点到平面残差Slerp 球面插值校正扫描内运动畸变视觉重投影残差IMU预积分残差轮速轮速预积分残差GNSS位置约束优化目标统一为X ∗ arg ⁡ min ⁡ X { ∥ r p ∥ 2 ∑ k w k ⋅ ρ ⁣ ( ∥ r k ∥ Σ k 2 ) } \mathcal{X}^* \arg\min_{\mathcal{X}} \left\{ \|\mathbf{r}_p\|^2 \sum_{k} w_k \cdot \rho\!\left(\|\mathbf{r}_k\|^2_{\Sigma_k}\right) \right\}X∗argXmin​{∥rp​∥2k∑​wk​⋅ρ(∥rk​∥Σk​2​)}其中X \mathcal{X}X为窗口内所有状态位姿、速度、IMU 零偏r p \mathbf{r}_prp​为边缘化先验残差r k \mathbf{r}_krk​为各传感器残差w k w_kwk​由 FRS 动态分配ρ ( ⋅ ) \rho(\cdot)ρ(⋅)为鲁棒核函数。无论启用 WIO、VIO、LIO 还是 LVWIO优化目标形式完全一致仅增减残差项。单帧优化耗时 5.48-10.73msi9-14900K满足实时。2.2 可观测性自适应初始化传统 SLAM 初始化固定流程静止等待重力对齐或依赖充足视觉特征在无光/无几何场景下初始化动辄数秒。Ultra-Fusion 设计四分支启动逻辑系统自动选择是否是否是否是否传感器数据流入运动激励充足?视觉特征充足?有轮速/IMU?动态视觉惯性初始化SfM对齐激光有效点充足?静止/轮速辅助初始化延迟初始化缓存数据等待激光辅助MAP初始化实验数据18 组跨数据集序列指标Ultra-FusionFAST-LIVO2Ground-Fusion平均初始化延迟0.153s4.642s–20s 短时轨迹误差0.483m––关闭自适应模块后延迟飙升至 4.6s误差扩大数十倍。2.3 因子级可靠性调度FRS图 2FRS 因子级退化调度流程 – 每类传感器独立计算退化分数动态调整残差权重 w_k退化严重时权重趋零。重点看各传感器的评分指标差异和消融收益。重绘自 design skill这是论文最核心的创新。区别于传统前端简单过滤FRS 在后端层面为五类传感器分别设计退化评分实时调权传感器退化打分方式退化场景激光Hessian 矩阵特征值 → 几何丰富度狭长走廊、单一平面视觉有效特征数 空间分布均匀度 重投影误差暗光、遮挡轮速IMU 推算 vs 轮速增量差值草地打滑、车轮悬空GNSS卫星数量 定位精度 残差隧道、城市峡谷IMU零偏漂移监测长时间静止消融实验收益FRS 模块退化场景误差降低激光 FRS-75.3%-0.45m ATE视觉 FRS-36.2%-1.60m ATE轮速 FRS-41.3%-1.56m ATE2.4 在线时空自校准OSC多数在线校准方案的问题弱激励环境下持续更新参数反而引入更大偏差。Ultra-Fusion 拆分两条独立校准线程设置双重准入门槛时序校准互相关匹配 IMU 角速度与激光运动曲线搜索最优时间偏移。最大支持± 500 ms \pm 500\text{ms}±500ms偏差修正人为注入± 200 ms \pm 200\text{ms}±200ms延迟基线方案误差米级Ultra-Fusion 维持分米级Wild01 序列± 300 ms \pm 300\text{ms}±300ms偏移0.0403m RMSE基线 15m旋转外参校准SVD 闭式求解旋转矩阵多轴运动不足时自动锁定外参。注入 10 度旋转误差HILTI22 上 0.25mFAST-LIVO2: 940m图 5仿真场景中不同时序偏移注入下的预测值分布 – 验证 OSC 模块的时序校准精度。来源[Ultra-Fusion] Temporal Offsets校准更新时同步修正全局地图位姿不产生地图断层。三、实验分析3.1 五大 Benchmark 全 SOTA数据集场景Ultra-Fusion最强对手M3DGR10 序列室内外混合0.15m ATErank 1.4–M2DGR-Plus校园/城市0.59% 漂移率, 0.24m RMSEFAST-LIVO2: 2.32%, 1.48mKAIST96.9km/h 高速城市自动驾驶0.38% 漂移率FAST-LIVO2: ~30%GrandTour四足机器人0.26-0.90cm RTE4 序列中 3 个第一–MARS-LVIG无人机1.47m RMSErank 1.5–图 4四类典型传感器退化场景轨迹对比 – 暗光、走廊、打滑、GNSS 失锁下 Ultra-Fusion vs 基线方案。重点看退化区段的轨迹偏移。来源[Ultra-Fusion] Degradation Grid3.2 跨平台通用性平台传感器配置验证场景城市自动驾驶LVIWGKAIST 高速序列最高 96.9km/h园区仓储机器人LVIW室内外穿越四足配送机器人LVI楼梯、颠簸地形GrandTour低空巡检无人机LVI机场远距离MARS-LVIG同类方案极少同时覆盖地面、足式、空中三类平台。3.3 关键场景对比高速场景KAIST 96.9km/h轮速约束让漂移率从 30% 降至 0.37%激光退化走廊主流 LIO 误差数米Ultra-Fusion 靠视觉/IMU 兜底控制在 0.3m 以内30min 长时巡航LVWIO 平均 2.8mFAST-LIVO2: 8.4m长期漂移抑制优势明显四、M3DGR 基准数据集Ultra-Fusion 团队扩展了 M3DGR 数据集37 组真实 仿真序列总量 300GB覆盖暗光、遮挡、狭长几何、车轮打滑、GNSS 失锁全部典型退化场景仿真序列提供精准真值可人为控制时序/外参扰动填补了业内缺乏统一退化评测基准的空白小结Ultra-Fusion 真正做到了一套代码通吃所有平台四大模块各有明确工程价值统一滑动窗口– 消除多子系统信息损耗增减传感器只改残差项自适应初始化– 0.153s 冷启动比 FAST-LIVO2 快 30 倍FRS 退化调度– 后端级退化处理激光退化误差降 75%OSC 在线校准– 容忍 /-500ms 时序偏差和 10 度外参误差客观局限无语义分割/动态目标剔除纯静态几何假设无回环检测模块超长场景仍有累积漂移所有测试基于离线数据集缺少大规模实车路测代码尚未正式开源承诺 accepted 后公开个人判断这是 2026 年多传感器融合 SLAM 领域最完整的系统级工作。FRS 因子级退化调度的思路值得所有做多模态融合的团队借鉴 – 传感器退化不该只在前端做后端加权才能真正利用冗余信息。但缺少回环和语义仍是硬伤实际部署需要叠加额外模块。