这项由南京大学领导的研究成果以预印本形式发布于2026年7月论文编号为arXiv:2607.05511有兴趣深入了解的读者可以通过该编号在arXiv平台查询完整论文。你有没有遇到过这样的朋友——他每次见你都要翻遍笔记本才能想起你上次聊过什么每隔几分钟就要低头查阅然后抬起头说哦对你上次说到这里了。跟这样的朋友聊天体验绝对好不到哪里去。现实中的AI视频助理有时候就是这个样子视频放了一个小时它却要花大量时间翻来覆去查资料、想线索、重新梳理才能勉强回答你一个问题又慢又耗费资源。南京大学的研究团队正是针对这个痛点提出了一个叫做 **Light-Omni** 的新框架。它的核心思路可以用一句话概括与其让AI像侦探一样反复推理、拼凑线索不如让它像一个记忆力超群的老朋友见到你的第一秒就能瞬间调取所有相关记忆直接给你答案。---一、老朋友与失忆症患者两种截然不同的记忆方式要理解Light-Omni解决了什么问题先想象两种截然不同的人。第一种人是电影《记忆碎片》里的主角莱昂纳德。他患有一种罕见的顺行性失忆症每隔一段时间记忆就会清空于是不得不靠拍宝丽来照片、在身上纹字来记住事情。每次他想知道自己在做什么都要翻照片、对笔记、一点一点拼凑出过去发生的事情极其费力而且很容易出错。第二种人则是你生命中那位记忆力惊人的老友。你们三年没见一坐下来他立刻想起你喜欢喝无糖咖啡、上次聊到你换工作的事还没说完、你有个养了很多年的猫叫小橘。他不需要翻笔记脑子里自然就有一张完整的你的地图对话从第一句就顺畅无比。现有的AI视频助理绝大多数都是莱昂纳德式的。它们把视频切成一段一段给每段加上简短的文字描述存起来等你问问题的时候再像查字典一样翻找。问题在于你问问题时用的词和它存资料时用的词往往对不上。你说那个穿红衣服的女生去哪了它存的是16:32至16:45室内场景人物移动——两边词不搭界翻遍也找不准。为了弥补这个鸿沟一些更先进的AI助理引入了侦探式推理先把你的问题改写几遍再生成几个检索关键词再多次调用工具搜索最后把结果拼凑成答案。这个过程可能要几十秒而且每问一次就要重来一次非常耗费计算资源和时间。Light-Omni的目标就是让AI从莱昂纳德变成那位记忆力超群的老朋友——不靠反复翻查而是靠真正意义上的记得。---二、一张始终更新的认知地图全局状态是什么Light-Omni实现这一目标的第一个核心机制叫做全局状态Global State。大脑神经科学告诉我们人类之所以能对过去的事情如此得心应手是因为我们的大脑会自动构建一张认知地图——不是把每件事都原样存起来而是把经历过的事按照重要程度和时间顺序整理成一张有层次的全景图。近处的事情细节清晰远处的事情只保留轮廓但整体的方向感和上下文始终在线。Light-Omni的全局状态就是这张认知地图在AI身上的实现版本。具体来说它以一种叫做多模态脚本的形式存在同时记录视觉画面、声音内容和对话历史。更关键的是它采用了一种分辨率递减的层级合并策略——这个听起来复杂的词其实可以用整理旧照片来理解。整理家庭相册时你通常会这样处理最近一个月的照片一张不删按天序摆放细节一清二楚半年前的每个月选几张精华合成一页五年前的整个夏天可能只剩一两张代表性的合影。这样一来整本相册既有近期的清晰细节又有远期的宏观全景厚度却始终可控不会因为时间越来越长就越来越笨重。Light-Omni的全局状态就是按这个逻辑运转的。当最近的记录积累到一定数量默认是8条就把最老的8条合并成一个更高层级的摘要节点这个过程叫做合并。合并之后最新的事件依然保留完整细节而更久远的事件则被精炼成纲领性的摘要。不管视频有多长全局状态中的节点数量始终在可控范围内绝对不会因为内容越来越多而撑爆内存。这个机制还有一个特别设计的防坑细节合并只在积累了至少9条记录时才触发确保最新的那条记录永远不会被提前合并掉就像相册里的今天永远不会被归档进多年前那一页。---三、一眼读懂你在问什么潜在状态与语义对齐解决了记得住的问题还有第二个同样棘手的难题记得住但找不准。回到语言不对齐的问题上来。你问那个穿红衣服的女生AI存的是人物移动两边词语完全不搭搜索自然失灵。传统的解决办法是让AI把你的问题翻译一遍再去搜但这个翻译过程本身就要花时间而且翻译得准不准也是个问题。Light-Omni的第二个核心机制潜在状态Latent State采用了一种更直接的方式不翻译直接学。这里有一个关键的技术洞察值得细细说明。AI语言模型在回答问题时其实并不是直接读字而是把文字转化成一种叫做向量的数学表示——可以把它理解成每个词、每句话在一个巨大坐标空间里的位置坐标。意思相近的词坐标位置也相近意思相差甚远的词坐标位置相去甚远。传统RAG检索增强生成系统的问题在于存记忆时用一套坐标系查询时用另一套坐标系两套系统对不上找出来的东西自然偏差很大。就好比你用中文地址找人对方的地图是英文标注的城市还是一样的城市但就是对不上门牌号。Light-Omni的做法是在模型处理当前输入的同时用一组特殊的软提示词Soft Prompts作为探针从模型内部的隐藏层直接提取出一个检索向量。这个向量是模型在理解了你的问题、结合了当前全局状态之后自然产生的天然地与存储记忆时用的语义空间对齐。不需要额外的翻译步骤语义对齐在一次前向计算单次信息流通过模型中就同步完成了。这就像是你的老朋友他不是听到你说红衣服女生之后才去脑子里搜红色衣物而是在理解整个对话语境之后自然而然地知道你在说谁直接就找到了。语境理解和记忆检索对他来说是同一个动作不是两个步骤。除了检索向量潜在状态还同时产生另一个判断现在需不需要说话需不需要主动搜索这两个判断由两个独立的分类器给出也是在同一次前向计算中完成的整个过程不需要任何额外的推理轮次。---四、记忆的三种抽屉用户档案、语义记忆与情节记忆理解了双状态的机制再来看看Light-Omni的长期记忆仓库是如何组织的。整个记忆系统被分成三个层次就像一个精心设计的档案柜分三个抽屉存放不同类型的信息。第一个抽屉存的是用户档案User Profile。这个抽屉里放的是关于人的长期固定信息——这个人是谁、长什么样、有什么习惯和偏好、和视频里其他人是什么关系。系统用面部识别技术自动识别视频里出现的人给每个人分配一个专属标识符比如face_0然后随着对话的深入不断完善这个人的档案。当同一个人在不同时间、不同场景出现时系统能够保持身份的一致性不会把同一个人当成两个人。第二个抽屉存的是语义记忆Semantic Memory。这个抽屉里放的是从视频内容中提炼出的事实性知识——不依赖于具体时间节点的、相对稳定的信息。比如张医生认为糖尿病药物会随时间失效这是一个观点不管它是在第5分钟还是第50分钟说的都是一条有价值的知识。语义记忆以简洁的键值对形式存储检索时速度快干扰少。第三个抽屉存的是情节记忆Episodic Memory。这个抽屉里放的是按时间顺序排列的具体事件记录包括精确的起止时间、视觉场景描述、声音内容、对话内容以及指向原始多媒体数据的指针。情节记忆采用叙事风格递增写入保证时间连续性同时不把重复的视觉帧一遍一遍存进来节省大量存储空间。这三个抽屉之间通过统一的人物标识符相互关联。当你问起某个人系统能同时从档案抽屉里取出他的基本信息从语义抽屉里取出他说过的重要观点从情节抽屉里取出他出现的具体场景三方信息汇合给出一个全面而精准的回答。---五、白天干活晚上整理异步记忆巩固机制Light-Omni还有一个特别人性化的设计叫做睡眠时巩固Sleep-time Consolidation。人的大脑在睡眠时会把白天积累的短期记忆转化、整合成长期记忆这是神经科学中有充分研究支持的现象。Light-Omni借鉴了这个机制。在它的架构里记忆的整理和更新并不是在你和它对话的过程中实时进行的而是异步地在后台悄悄完成。在实际的在线使用场景中Light-Omni有三个并行运转的进程。第一个进程始终在线负责处理实时输入的视频流做面部识别、声音检测等预处理工作。第二个进程在检测到用户说话结束或者静默超过30秒时触发迅速生成当前状态的双状态表示决定要不要响应、要检索什么然后给出回答整个过程通常在几秒内完成。与此同时第一个进程把这次交互的数据推入一个队列。第三个后台进程则持续监控这个队列默默地把队列中的数据整理进长期记忆——生成话题摘要、更新全局状态、完善用户档案。这个设计的好处是用户完全感觉不到记忆整理的负担对话响应始终保持极低的延迟而长期记忆却在悄无声息地不断完善就像你睡着之后大脑自动整理记忆醒来就能记得昨天发生的事一样。---六、训练数据从哪来模拟真实对话的合成流水线任何AI系统的性能都高度依赖于训练数据的质量。Light-Omni面临一个现实问题现有的公开视频数据集几乎全是为看完整段视频再回答问题这种离线模式设计的根本没有连续互动、跨时段记忆的场景。为此研究团队设计了一套完全自动化的数据合成流水线。他们从YouTube等平台收集了2118段公开视频随机拼接组合模拟长时间、多会话的交互场景。然后在视频的不同时间节点注入模拟的用户对话——文字问题用文字转语音技术合成为音频混入原始视频的音轨中还特意保留了环境噪声和音调特征让合成的问题听起来像是真实场景中说出来的而非录音棚里的标准发音。有了这些场景研究团队再用一个商业级语言模型Gemini-3-Flash-Preview扮演全知的助手提供完整语境下的标准答案同时生成中间过程信号——包括记忆应该如何更新、检索应该触发哪些条目、该不该主动说话等等。整套流水线最终产出了46166个训练样本分成三个专项数据集分别用于训练三个不同功能的适配器记忆适配器负责生成和整理记忆内容10493个样本、生成适配器负责回答问题4785个样本、反应适配器负责决定动作和生成检索向量30888个样本。三个适配器各自独立训练在推理时根据当前状态动态切换互不干扰这种被称为多LoRA的设计有效避免了不同任务之间相互打架的问题。---七、越快越好两个让延迟再减四成的优化技巧在双状态机制已经消除了迭代推理负担的基础上Light-Omni还叠加了两个进一步降低延迟的工程优化。第一个叫特征缓存。在Light-Omni的工作流里同一段输入视频需要在多个阶段被处理——先用于生成回答再用于更新记忆。如果每个阶段都重新对视频帧和音频做一次特征提取这些重复计算加在一起相当可观。特征缓存的思路很简单对每段输入只做一次特征提取结果存起来后续步骤直接复用不重复计算。仅这一项就带来了约8%的延迟降低。第二个叫冗余剪枝。视频内容有一个众所周知的特性相邻帧之间往往极度相似大量的视觉信息是重复的。就像一段人在台前演讲的视频背景墙壁、桌子、窗帘几乎每一帧都一样真正有信息量的只有演讲者的表情和动作变化。Light-Omni在处理视频时动态评估相邻帧的相似度对被判断为高度冗余的帧大幅压缩其占用的计算量压缩到只保留32个关键位置对信息密度高的帧则正常处理。在帧内部也进一步根据显著性排序优先保留最有信息量的视觉区域。两个优化叠加总计带来了约42%的延迟降低而且准确率不降反升——这并不奇怪因为剔除大量噪音和冗余往往让模型能更专注于真正有价值的信息。---八、实验结果数字背后的真实差距有多大研究团队在多个权威的长视频理解基准测试上对Light-Omni进行了全面评测涵盖VideoMME-long考察长视频综合理解能力、LVBench专注极长视频推理、HippoVlog测试音视频事件理解以及OVO-Bench在线实时视频理解。与直接使用底座模型Qwen2.5-Omni-7B相比Light-Omni在VideoMME-long和LVBench两个数据集上的平均准确率提升了9.5个百分点响应速度提升了约20.5倍GPU显存占用降至原来的三分之一。换句话说更准确、更快、更省资源三者同时实现。与当时最强的竞争对手M3-Agent相比Light-Omni的平均准确率高出2.4个百分点速度快了12.1倍显存效率高出2.6倍。M3-Agent使用的底座模型是Qwen3-32B参数量是Light-Omni底座模型的四倍多却在这三个维度上全面落后。在更广泛的对比中Light-Omni的整体准确率64.8%超过了另一个强劲的对手WorldMM-8B63.7%而WorldMM-8B还依赖商业APIGPT-4o-mini来构建记忆成本和依赖性都更高。与包含HippoVlog在内的三数据集综合对比中Light-Omni比M3-Agent的领先优势扩大到了5.9个百分点。从效率角度看在处理平均时长约2436秒的视频时M3-Agent每次对话平均耗时25.91秒其中检索本身就要16秒Light-Omni的整体响应时间只需2.28秒检索只用0.76秒差距超过11倍。此外M3-Agent构建一段视频的记忆需要3312秒比视频本身还长而Light-Omni只需1753秒节省了近一半时间。---九、当输入充满噪音时谁的表现更稳健现实场景中的用户查询往往不是干净整洁的标准问句。噪音无处不在你可能把问题混在日常闲聊里说出来可能用了大量无关的背景信息可能用语音而非文字提问周围还有各种杂音。研究团队专门设计了一组鲁棒性测试向LVBench的标准输入注入两种噪音。文本噪音的注入方式是在每个问题前面加上四倍于问题长度的随机文本来自一个大型英文语料库音频噪音的注入方式是把问题合成为语音混入视频最后一段的音轨中。在文本噪音条件下标准RAG传统检索增强方法的准确率从46.9%暴跌到43.4%下降了3.5个百分点经过查询改写优化的RAG-Rewrite从47.6%降到45.2%下降了2.4个百分点Light-Omni从49.9%降到49.1%只下降了0.8个百分点。音频噪音条件下的差距更为悬殊标准RAG下降了5.6个百分点RAG-Rewrite下降了3.7个百分点Light-Omni只下降了1.3个百分点。研究团队还可视化了256个带噪声查询与其对应的正确记忆条目之间的相似度矩阵。对于Light-Omni矩阵的对角线代表正确匹配明显比其他位置更亮说明即便输入充满噪音它依然能精准找到对应的记忆条目。量化指标上Light-Omni的信噪比SNR为1.352标准RAG只有1.201。这个差异从数学上印证了双状态机制在语义对齐上的显著优势。---十、随着时间无限延伸记忆不会撑爆最后一个值得关注的特性是Light-Omni面对超长时间跨度时的扩展性表现。研究团队模拟了从一分钟到六个月的不同时长场景追踪全局状态中的节点数量变化。没有层级合并机制时节点数量随时间线性增长到六个月时早已远超内存上限OOMOut of Memory。有了层级合并之后节点数量的增长速度大幅放缓呈现出近似对数的增长曲线——即便持续运行六个月全局状态的节点数仍然不到一小时视频对应节点数的三倍始终维持在可控范围内。响应延迟方面研究团队在三个基准测试集上测试了从约1000秒到约8000秒超过两小时的视频Light-Omni的响应延迟始终在2至6秒之间平均值只有2.37秒没有随着视频变长而显著上涨。这种近常数级的延迟特性意味着Light-Omni在理论上可以无限扩展到更长的视频而不会因为内容增多就变得越来越慢。---说到底Light-Omni在做的事情是重新思考AI记忆这件事的本质。把视频切成碎片、加标签、建索引这一套方法在AI发展早期是不得已的应对之策就像没有智能手机之前大家用纸质通讯录记号码一样。现在Light-Omni提供了一种更接近人类认知方式的替代方案保持一张实时更新的全景认知地图让检索和理解在同一个动作中自然完成把反应时间压缩到接近人类的水准。从实验数据来看这条路走通了——不仅走通了还同时实现了更高的准确率、更低的延迟和更少的资源消耗。更值得关注的是Light-Omni被设计为一个即插即用的记忆模块可以直接套在现有的各种视频理解模型上使用。接入Qwen2.5-VL-7B平均准确率提升4.9个百分点速度最高加快7.2倍接入Qwen3-VL-8B准确率提升2.5个百分点接入商业模型Gemini-2.0-Flash准确率提升3.8个百分点。这意味着它不是一个孤立的研究成果而是一个可以为整个AI视频理解生态带来增量价值的通用工具。当然它目前也有局限性。底座模型Qwen2.5-Omni-7B在某些通用能力上仍落后于最新的Qwen3系列而离线记忆构建的计算成本尽管已经大幅优于同类方法对于超大规模的视频流处理来说依然是一个非轻松解决的挑战。不过研究团队指出把Light-Omni的记忆框架换上更新的底座模型性能还会进一步提升这条路依然有很大的上升空间。这项研究让人思考的一个问题是当AI系统真正拥有了媲美人类的长期记忆我们与AI的关系会发生怎样的变化当它不再是每次都要重新认识你的陌生工具而是像老朋友一样积累了你们之间的共同历史——这对人机交互的未来意味着什么对于对这些问题感兴趣的读者不妨通过arXiv:2607.05511获取完整论文研究团队也在项目主页上提供了在线演示可以直观感受Light-Omni的实时交互能力。---QAQ1Light-Omni和普通的视频AI助手相比核心区别是什么A普通视频AI助手在回答问题时需要多轮检索和推理像侦探一样反复翻查资料速度慢且容易出错。Light-Omni通过维护一张始终更新的全局认知地图在单次计算中同时完成理解问题和找到答案两件事响应速度可以快10倍以上同时准确率更高。Q2Light-Omni的全局状态在视频时间很长时会不会撑爆内存A不会。Light-Omni采用层级合并策略将久远的记录逐步压缩成摘要同时保留最近的详细记录类似于相册越久的照片越精简整体节点数量始终维持在可控范围内。实验显示即使模拟运行六个月全局状态节点数也不会超过一小时视频节点数的三倍。Q3Light-Omni能用在现有的AI模型上吗还是必须重新训练一套系统ALight-Omni被设计为即插即用的记忆模块可以直接与现有模型结合使用。实验中它分别接入了Qwen2.5-VL、Qwen3-VL和Gemini-2.0-Flash均带来了显著的准确率提升和效率改善不需要对底座模型进行大规模重训练。