1. Wan-Streamer v0.1基础信息题目Wan-Streamer v0.1: End-to-end Real-time Interactive Foundation Models时间2026年6月机构阿里巴巴集团 (Alibaba Group)关键词Real-time Interaction, End-to-end, Audio-Visual一句话总结作者为了解决现有AI数字人反应慢、像“机器人”的问题提出了一个名为Wan-Streamer的原生流式模型它能在一个Transformer里同时处理音视频的输入输出实现了约550毫秒的超低延迟全双工交互。为什么要做现有的AI交互系统通常由语音识别、大模型、语音合成、视频生成等多个模块拼接而成这种“流水线”模式不仅累积了延迟还导致各模块间配合生硬。这个问题值得解决因为真正自然的交流需要像人类一样“边听边看边反应”而不是等对方说完才开始处理。做了什么作者设计了一个端到端的模型把用户的语音、画面和AI的回复都看作同一个连续的数据流。核心处理模型内部没有复杂的模块切换而是利用Diffusion和因果注意力机制让AI在接收用户输入的同时实时生成包含表情、口型和语音的回复。实质区别不同于传统方法“先想后说”Wan-Streamer 是“边听边演”能在说话的同时保持眼神交流和肢体动作实现了真正的视听同步。结果如何速度极快模型自身的响应延迟仅约200毫秒加上网络传输的总交互延迟约550毫秒达到了亚秒级的实时交互水平。表现自然实验证明该模型不仅能流畅对话还能在倾听时做出点头、眼神跟随等自然的非语言反馈且支持随时打断。最后记住这篇论文最大的贡献是证明了用一个统一的模型就能搞定实时的音视频交互不再需要繁琐的模块拼接。目前的局限是生成的视频分辨率还较低192p但这为未来开发真正“活”的数字人指明了方向值得精读其架构设计思路。2. Wan-Streamer v0.2基础信息题目Wan-Streamer v0.2: Higher Resolution, Same Latency时间2026年7月机构阿里巴巴集团 (Alibaba Group)关键词Real-time Interaction, Video Generation, Context Parallelism一句话总结作者为了解决实时视频对话中“画质提升导致延迟增加”的难题提出了一种将计算任务拆分为“思考者”和“执行者”的并行处理方法在将视频清晰度提升9倍的同时保持了约200毫秒的超低模型延迟。为什么要做现有的实时数字人如v0.1版本虽然反应快但输出画质太低192×336只能看清脸无法看清肢体动作和周围环境限制了交互的真实感。要在不增加用户等待时间的前提下提升画质需要解决高分辨率视频生成带来的巨大计算量问题。做了什么作者设计了一种“分工合作”的部署架构Thinker思考者由单张GPU负责处理所有输入听和看快速更新状态并生成关键指令K/V cache保证反应速度。Performer执行者由多张GPU组成专门负责繁重的“画画”工作高分辨率视频生成。核心区别它利用Ulysses并行技术将长视频序列切分给多个GPU同时计算而音频等短序列仍由单卡处理实现了“大脑”和“画笔”的解耦让算力集中在最耗时的视觉生成上。结果如何画质飞跃输出分辨率从192×336提升至640×368不仅面部更清晰还能看清手势、姿态和背景物体。延迟不变模型端信号到信号的延迟保持在约200毫秒加上网络传输的总交互延迟约为550毫秒与低画质版本持平。证据实验证明了该架构在维持实时交互节奏25 FPS的同时成功承载了高分辨率生成的计算负载。最后记住这篇论文最值得记住的是它通过计算任务的拆分与并行Thinker-Performer打破了画质与速度的互斥关系。局限在于它主要优化了服务部署架构而非基础模型算法。对于关注实时数字人或视频生成工程落地的人来说非常值得精读。3. X-Streamer基础信息题目X-Streamer: Unified Human World Modeling with Audiovisual Interaction时间2025年9月机构字节跳动 (ByteDance)关键词Digital Human, Multimodal Generation, Real-time Streaming一句话总结作者为了解决数字人难以进行长时间、实时且多模态文本、语音、视频互动的问题提出了X-Streamer框架实现了仅需一张照片就能驱动数字人进行无限时长的实时音视频对话。为什么要做现有的数字人系统通常是“拼凑”的即分别用不同的模型处理对话、语音和画面导致反应慢、口型对不上且很难长时间保持画面不崩坏。解决这个问题能让虚拟人真正像真人一样在直播、教育等场景中实时互动。做了什么作者设计了一个“思考者-行动者” (Thinker-Actor) 的双层架构Thinker基于预训练的LLM负责“听懂”用户的语音或文字进行思考和推理。Actor负责“表演”将Thinker的思考结果实时转化为同步的语音、文本和面部视频。实质区别它不是把视频生成和语音生成分开做而是用一个统一的模型同时生成所有模态并采用“分块扩散”技术解决了视频生成中常见的画面闪烁和身份漂移问题实现了真正的流式输出。结果如何实时性模型能在两张A100显卡上实现25fps的实时生成支持无限时长的对话。稳定性实验证明在长达数分钟甚至数小时的对话中数字人的长相ID和说话风格能保持高度一致没有出现明显的画面崩坏或身份改变。效果在口型同步和画面清晰度上优于现有的音频驱动说话方法如SadTalker, JoyVasa。最后记住这篇论文的核心贡献是打通了“大脑”LLM和“脸”视频生成让数字人不仅能聊得久还能长得像、动得真。主要局限是目前的训练数据仅限于“大头照”视频对全身动作或复杂场景的支持还比较有限。如果你对实时虚拟人交互感兴趣这篇非常值得精读。4. OmniHuman-1.5基础信息题目OmniHuman-1.5: Instilling an Active Mind in Avatars via Cognitive Simulation时间2025年8月机构ByteDance (字节跳动)关键词Video Avatar, Multimodal LLM, Diffusion Transformer一句话总结为了解决现有数字人动作机械、缺乏逻辑的问题作者提出了OmniHuman-1.5通过引入LLM进行“思考”规划让生成的视频动作不仅对口型还能理解语义和情绪在用户主观评测中表现优于现有主流模型。为什么要做现有的音频驱动视频生成模型如OmniHuman-1通常只是机械地将声音映射为动作类似“条件反射”导致生成的动作重复、单调且缺乏与说话内容的深层语义关联比如说到“看那边”时不会转头。解决这个问题能让数字人看起来更像真人具备“思考”能力。做了什么作者模仿人类大脑的“双系统”理论设计了一个新框架系统2思考利用多模态LLM作为“大脑”先分析音频和图像生成一段包含情绪、意图和动作计划的文本描述即“思维链”作为高层指导。系统1反应设计了一个多模态Diffusion Transformer将上述文本指导与音频特征融合。它采用对称的分支结构处理不同信号并用“伪末帧”技术来保持人物长相一致最终生成既符合声音节奏又符合语义逻辑的视频。结果如何用户更爱看在主观评测中33%的用户首选该方法生成的视频显著高于OmniHuman-122%和其他竞品。动作更自然用户研究数据显示该模型生成的动作不自然率MU显著降低证明加入“思考”环节确实让动作更合理了。最后记住这篇论文的核心贡献是证明了用LLM做高层语义规划可以有效解决视频生成中动作僵硬、缺乏逻辑的问题。主要局限在于引入了LLM推理步骤计算开销可能较大。对于关注数字人逻辑性和表现力的研究者这篇论文非常值得精读。5. LPM 1.0: Video-based Character Performance Model基础信息题目LPM 1.0: Video-based Character Performance Model时间2026年机构米哈游关键词Video Generation, Conversational Agent, Diffusion Transformer一句话总结作者为了解决虚拟角色在实时对话中“表情僵硬、反应迟钝、长时间生成会崩坏”的问题提出了LPM 1.0这是一个能同时处理“说话”和“听话”状态的实时视频生成模型实现了高质量的无限时长对话交互。为什么要做现有的视频生成模型面临一个“不可能三角”要么画质好但速度慢无法实时要么速度快但表情僵硬要么长时间生成后角色长相会变形。此外现有模型大多只懂“说话”对口型不懂“听话”根据对方的话做出点头、眼神交流等反应无法胜任真正的双向对话。做了什么作者构建了一个包含“说话”和“听话”行为的大规模数据集并训练了一个17B 参数的 Diffusion Transformer (Base LPM)。核心在于它采用了“交错注入”机制让模型能同时理解两路音频一路是自己说的驱动嘴型一路是对方说的驱动点头、眼神等反应。为了实现实时交互作者又通过蒸馏技术将其压缩为Online LPM采用“主干精修”的流式架构在保持低延迟的同时利用多张参考图Reference Images确保角色在长时间对话中长相不走样。结果如何在 LPM-Bench 基准测试中LPM 1.0 在人类偏好评估中显著优于 Kling-Avatar-2 和 OmniHuman-1.5 等竞品例如 64.3% vs 24.4%。实验证明它能实现无限时长的稳定生成且“听话”时的微表情和反应比现有模型更自然。最后记住这篇论文最大的贡献是把虚拟人从单纯的“对口型播放器”变成了真正懂互动的“对话者”解决了实时性和长时稳定性的矛盾。局限在于目前主要局限于单人面对镜头的场景缺乏对复杂环境交互、多人同框以及长时记忆的支持。