VideoWeaver: Evaluating and Evolving Skills for Agentic Long Video Generation一、Motivation长视频生成正沿着两条路线发展一是端到端模型如Sora、Veo、Helios、LoL等通过改进自回归生成和记忆机制来延长单次生成的时长二是智能体Agent系统通过LLM规划、分解和协调多阶段的生成工具来完成复杂的多镜头任务。现有的智能体视频生成系统如Mora、StoryAgent、UniVA、Co-Director虽然有效但它们的编排流程是固定的、人工设计的。与此同时通用智能体框架如Claude Code、Codex、OpenClaw展现了强大的工具使用和流程编排能力甚至可以自主构建和优化工作流但它们能否胜任长视频生成这种长时域、多模态的任务尚未被系统性地探索。此外现有视频生成的评测基准几乎都只评估最终输出的质量而忽略了生成过程中各环节可能出现的问题——例如规划缺陷、工具调用失败、中间产物损坏等。这些问题在长视频的多步生成场景中尤为突出。VideoWeaver 正是在此背景下提出的它既是一个智能体测试平台harness又是一个基准测试集benchmark还引入了一种技能进化算法使智能体可以通过评估反馈来自我优化。二、Related Work论文从三个维度梳理了相关工作2.1 长视频生成端到端方法StreamingT2V短期条件长期外观保持、LoViC视频-文本上下文压缩、Stable Video Infinity回收自回归误差、Helios漂移感知训练上下文压缩、LoLRoPE抖动实现小时级生成。智能体编排方法VideoDirectorGPT、Mora、UniVA 等通过分层规划将剧本分解为场景/镜头/提示StoryAgent、Co-Director 增加了批评反馈机制。但这些系统的工作流都是预定义的无法自适应地构建和优化流程。2.2 视频评测奖励模型方法VBench、VideoPhy、VisionReward——按维度打分但需要大量专用评估器且存在 reward hacking 风险。LLM-as-Judge 方法Video-Bench、UniVBench、CLVG-Bench——能提供更丰富的文本反馈但仍然只评估最终输出。VideoWeaver 的不同之处在于它用技能增强的 Agent-as-Judge同时检查执行轨迹和最终视频提取元数据、中间文件等硬证据。2.3 自进化智能体技能Voyager 首次展示了智能体通过交互和自省积累可复用代码技能。后续工作涵盖了从执行反馈中精炼技能EvoSkill、CoEvoSkills、将技能作为持久记忆Memento-Skills、MetaClaw、以及在工业/医学场景中验证自进化技能SkillForge等方向。三、Method3.1 任务定义与数据集VideoWeaver 将长视频生成定义为一个智能体技能组合任务给定一个一次性的用户指令智能体需要规划、调用多个基础技能、管理中间产物最终生成一个连贯的长视频。数据集包含16 个任务类别、285 个测试用例输入模态覆盖文本、图像、音频、视频及其组合。数据集被划分为训练集 测试集13 个类别119 训练 123 测试OOD 集3 个类别43 用例用于评估泛化能力任务类别丰富多样包括 AI 数字人视频、动漫视频、产品开箱、古诗教学、电商主体替换、长视频编辑等。3.2 技能体系Skills Workspace技能体系分为三层基础技能Foundation Skills自包含的、可独立调用的原子能力如视频生成video-gen、图像生成image-gen、音频生成audio-gen、视觉理解vision-understanding、音频理解audio-understanding、视频元数据提取、帧提取、镜头分割、合并视频等共 24 项。组合技能Composition Skills高层过程性策略定义了基础技能的编排方式。技能创建者Skill-Creator一个元技能能够根据可用基础技能和任务案例来构建组合技能。3.3 评估方法Agent-as-Judge这是本文的核心贡献之一。评估框架使用 Claude Code DeepSeek V4 作为评估智能体通过多轮交互来评估过程指标6项指标含义EE工具调用成功率CM是否将片段合并为最终长视频IP是否理解和预处理多模态输入PL是否在生成前制定计划SF组合技能步骤的遵循比例RAU是否使用了用户提供的参考素材输出指标7项指标含义FR时长、分辨率等硬性格式要求PR是否满足用户内容和指令要求VC跨片段的视觉一致性角色、场景AC跨片段的音频一致性说话人、背景音乐AVC音视频同步性PLC故事逻辑连贯性RF是否反映了多模态参考素材评估智能体在每轮会调用工具提取硬证据视频元数据、关键帧、ASR 转录、音频分离等而非仅凭视觉看一看。这种 evidence-grounded 的评估方式是其核心优势。3.4 技能进化算法进化流程包含三个阶段阶段一任务推理Task Inference执行智能体Aexec\mathcal{A}_{\text{exec}}Aexec​使用初始技能创建者C0C_0C0​和基础技能F\mathcal{F}F为每个类别生成初始组合技能S0,kS_{0,k}S0,k​。对每个训练案例执行推理收集执行轨迹τ\tauτ、输出yyy和评分sss。阶段二技能进化Skill Evolution优化器智能体Aopt\mathcal{A}_{\text{opt}}Aopt​在同一上下文中逐案例地分析评分、轨迹和输出定位失败原因。先修正组合技能再优化技能创建者。持久上下文hkh_khk​让优化器在同一类别的案例间积累经验。阶段三创建者技能合并Creator Skill Merging合并智能体Amerge\mathcal{A}_{\text{merge}}Amerge​将多个类别级的创建者技能顺序合并为一个统一的创建者技能C∗C^*C∗跨类别吸收经验。设计亮点在于执行、优化、评估分别使用不同的 harness model 组合OpenClawSeed2.0、CodeXGPT-5.5、Claude CodeDeepSeek V4以缓解自我偏好偏差。四、Experiments4.1 Baselines实验从两个维度设置了对比基线维度一Harness × Model 组合Table 3这篇论文里的智能体由两部分组成一个是 harness运行环境/框架比如 Claude Code、CodeX、OpenClaw它们提供工具调用、文件操作、代码执行等运行时能力另一个是 foundation model基础大模型比如 GPT-5.5、DeepSeek V4、Opus 4.7、Seed 2.0它们负责推理和决策。两者搭配使用就像操作系统 CPU的关系——同一个框架可以换不同的模型同一个模型也可以跑在不同的框架上。执行智能体使用不同的框架和基础模型组合Claude Code Seed2.0 / DeepSeek V4 / Opus 4.7CodeX GPT-5.5OpenClaw Seed2.0其中技能进化实验默认使用三套不同组合来分离角色、缓解自我偏好偏差执行用 OpenClaw Seed2.0优化用 CodeX GPT-5.5评估用 Claude Code DeepSeek V4。维度二技能消融对比Table 4在固定 OpenClaw Seed2.0 的执行设定下比较以下五种配置No Composition Skill只提供基础技能智能体在执行时自行编排工作流。Composition Skill智能体先创建一个任务专用的组合技能来规定编排流程再按其执行。Self-Evolution仅根据过程和输出指标的优化目标来进化技能不使用评判智能体的额外反馈。Evolution with Feedback在进化过程中引入评判智能体生成的文本反馈作为优化信号。Expert Composition Skill由人类专家手工构建的组合技能作为性能上限参考。这一设计可以逐层验证组合技能是否有用 → 自进化是否有效 → 外部反馈是否有额外增益 → 与人工设计的差距有多大。4.2 Harness × Model 对比Table 3不同的智能体框架和基础模型组合表现差异显著CodeX GPT-5.5和Claude Code Opus 4.7表现最强输出指标平均分分别达 0.691 和 0.612人类排名分达 4.90 和 4.64。同一 harness 下更换模型影响很大Claude Code Opus 4.7 的过程指标平均为 0.964换成 Seed2.0 后降至 0.692。4.3 技能进化效果Table 4在 OpenClaw Seed2.0 的设定下无组合技能 → 有组合技能Input Processing 从 0.571 提升至 0.886Planning 从 0.465 提升至 0.869说明显式的编排指导对长视频任务至关重要。自进化Self-Evolution过程指标平均大幅提升至 0.988说明自进化有效捕获了可从执行轨迹诊断的程序性修复。带反馈的进化输出指标平均从 0.567自进化提升至 0.582说明外部评判反馈主要贡献了智能体难以自我评估的输出质量提升。专家组合技能仍是最强参考点输出均分 0.620排名分 5.63表明人工设计的编排仍有优势。Table 3 证明了通用智能体做长视频生成是可行的但效果取决于配置Table 4 进一步证明了通过技能进化可以系统性地提升效果而不是只靠换更强的模型。4.4 泛化性Table 6测试集上优化后的组合技能赢 25.3%、平 58.2%、输 16.5%。OOD 集上优化后的创建者技能赢 23.8%、平 59.7%、输 16.5%。表明学到的编排经验可迁移到未见过的任务类别。4.5 人类对齐Table 7过程指标对齐度高CM 精确匹配 0.995RAU 为 0.970。输出指标中开放性较强的维度PR 0.679、VC 0.678对齐度相对较低但整体表现良好。4.6 资源消耗Table 5性能更强的方法通常需要更多资源工具调用次数、LLM token、总时间。一个有趣的发现更强方法的 VC-RGT视觉内容生成时间占比反而下降0.80 → 0.72说明它们把更多时间花在了规划、推理和协调上而非单纯等待视频生成。五、ConclusionVideoWeaver 做了三件事将长视频生成形式化为智能体技能组合任务构建了 16 类别 285 案例的基准。提出了 evidence-grounded 的 Agent-as-Judge同时评估执行轨迹和最终输出。设计了技能进化算法从评估反馈中持续优化组合技能和创建者技能。论文也坦诚指出了局限性数据集规模受限于计算成本基础技能主要基于字节生态优化方法有待探索更有原则性的方式如更好的 credit assignment。六、个人思考6.1 定位与贡献VideoWeaver 的核心贡献不是做了一个更好的视频生成模型而是提出了一个系统性的框架来研究通用智能体在长视频生成中的表现。它将问题从如何生成更好的视频转化为如何让智能体学会编排工具来生成更好的视频这个视角非常有价值。6.2 Agent-as-Judge 的启发传统评测只看最终视频而 VideoWeaver 的 Agent-as-Judge 同时检查执行轨迹。这个思路非常有启发性——在复杂的多步生成任务中过程诊断往往比结果评分更有价值因为它能告诉你哪里出了问题、如何改进。不过论文也暴露了一个问题过程指标对齐度很高因为可以从日志和元数据客观验证而输出指标特别是 PR、VC 这类需要主观判断的对齐度明显更低。这说明 Agent-as-Judge 在客观可验证的维度上优势明显但在主观审美维度上仍有提升空间。6.4 技能进化的天花板从实验数据看Evolution with Feedback 的输出均分0.582仍明显低于 Expert Composition Skill0.620。这说明当前的技能进化策略还没有完全逼近人工设计的上限。论文中提到的 credit assignment归因哪个步骤导致了质量下降是一个关键瓶颈——在长链条的执行轨迹中精准定位问题本身就是一个很难的问题。6.5 可复现性问题值得注意的是整个实验依赖字节跳动的闭源工具栈Doubao Seedance、Seedream、Volcengine BigASR 等虽然 harness 本身是模型无关的但实际上其他研究者要完全复现实验会面临较大障碍。论文在 Limitations 中也承认了这一点。一句话总结VideoWeaver 首次系统性地研究了通用智能体框架在长视频生成中的能力提出了过程结果双维度的评估方法和自进化技能优化机制。它不是一个更好的视频生成器而是一个用于研究智能体如何学会生成视频的实验平台。