1. 论文核心意义Why it matters物理世界建模World Modeling是多模态生成模型向具身智能embodied AI、机器人、模拟器等方向发展的关键能力。当前Sora、Veo、Kling等视频模型在生成“看起来真实”的视频上进步巨大但它们是否真正掌握了对象属性affordances、因果动力学和物理约束一直缺乏严格检验。TAILOR的意义在于首次系统性地暴露长尾差距模型在常规工具-任务配对上表现不错但换成非常规unconventional或不可能impossible的工具时性能大幅下降证明它们更多是“记忆模板”而非“理解物理”。为未来“物理接地physically grounded”的世界模型提供了一个诊断性基准推动模型从感知真实性perceptual realism向因果真实性causal realism演进。对机器人、具身智能、科学模拟等领域有实际启发如果模型连“用硬书砸核桃”或“用硬币拧螺丝”都做不好就更难支持真实世界规划和交互。这篇工作类似“压力测试”——把模型推到训练分布之外揭示它们真正的能力边界。核心问题是世界模型是否真正内化了物理原理还是仅仅依赖训练数据中的统计规律当前模型在常见场景如用刀切面包中表现很好但这可能只是模式记忆而非真正的物理推理。论文想测试的是当物体以不常见、即兴或反常规的方式交互时模型还能否正确模拟物理结果2. 主要创新点三层场景设计Progressive ChallengeRegular常规标准工具-任务配对e.g., 用螺丝刀拧螺丝测试head distribution能力。Unconventional非常规用属性匹配的替代物e.g., 用硬币代替螺丝刀测试功能属性泛化affordance generalization。Impossible不可能用属性冲突的物体e.g., 用干意大利面拧螺丝测试物理约束意识constraint awareness。TailOR 设计了三种难度递增的场景表格场景说明示例Regular常规常见工具-任务组合训练数据中常见用螺丝刀拧螺丝Unconventional非常规用属性兼容的替代工具测试功能泛化用硬币代替螺丝刀拧螺丝Impossible不可能用违反物理属性的工具测试约束意识用海绵去切胡萝卜海绵不具锋利/刚性属性这种逐步偏离分布的设计非常优雅能清晰区分“记忆” vs “推理”。Predictive vs Descriptive 双设置Predictive只给过程/工具不告诉结果让模型自己推断结局 → 测试隐式物理推理。Descriptive明确描述期望结果让模型生成对应画面/视频 → 测试可控性和物理一致性。这两个设置互补能分别诊断“会不会想”和“会不会做”。工具使用Tool-use作为切入点工具-任务交互天然需要对象属性推理刚性、硬度、几何匹配、力传递等是测试物理理解的理想场景。结合HICO-DET动作本体 ConceptNet对象-属性图构建结构化数据。细粒度评估协议四个核心指标Instruction Adherence指令遵循、Interaction Accuracy交互正确性、Physical Realism物理真实性、Perceptual Quality感知质量。每个维度拆成更细的checklist子项实体完整性、属性保真度、场景有效性、状态变化正确性、affordance grounding、运动合理性等。同时支持人类评估 VLM自动评估Gemini-2.5-pro且二者高度一致。两种评估设置Predictive Generation预测式不给结果让模型自己推断会发生什么测试物理推理能力Descriptive Generation描述式明确告诉模型期望的结果看它能否忠实实现测试可控性和物理一致性可扩展的数据 curation pipeline用LLMGPT-5系统化生成任务、非常规工具、不可能工具、prompts和rubrics。两轮人工验证确保质量最终得到80个任务、400个评估实例、1600个prompts。这些创新使基准可控、可诊断、可扩展远超以往偏向感知质量或常规物理常识的基准如VideoPhy、PhyWorldBench。3. 具体方法详解数据构建Section 4来源HICO-DET动作 ConceptNet对象属性。流程见Figure 2从动作生成多样任务含常规工具、期望结果、所需属性。LLM生成非常规替代工具匹配属性但不常见。生成相反属性 → 不可能工具 预期失败结果。人工筛选/修订确保物理合理性、可视化清晰。 5-7. 生成Predictive/Descriptive prompts checklist rubrics 最终质控。数据集构建流程Step 1: Action-Driven Task Generation动作驱动任务生成 ↓ Step 2: Unconventional Tool Generation非常规工具生成 ↓ Step 3: Impossible Tool Generation不可能工具生成 ↓ Step 4: Human Verification人工验证 ↓ Step 5: Prompt Generation提示词生成 ↓ Step 6: Rubric Generation评分标准生成 ↓ Step 7: Human Finalization人工最终确认最终数据集统计80任务 × 5工具变体1 regular 2 unconventional 2 impossible覆盖室内/室外、多样动作。评估设置图像模型生成最终静态状态。视频模型生成动态过程 最终状态。Prompt模板精心设计确保自然且不泄露答案。指标计算Instruction Adherence 和 Interaction Accuracy 是百分比基于checklist平均。Physical Realism 和 Perceptual Quality 是0-5分开放评分。自动评判用VLM严格按照相同rubric打分。四个评估维度维度范围说明Instruction Adherence指令遵循0-100%是否正确实例化了所需的实体和功能属性Interaction Accuracy交互准确性0-100%交互结果和动态是否正确实现Physical Realism物理真实性0-100%是否符合物理规律Perceptual Quality感知质量0-100%视觉质量分辨率、清晰度等4. 实验结果与分析关键发现长尾性能断崖式下降Regular → Unconventional → Impossible所有模型在Interaction Accuracy和Physical Realism上跌幅最大。视频模型更脆弱需要建模时序动力学错误会累积传播temporal inconsistency、implausible dynamics。顶级模型图像中Nano-Banana-2领先视频中Sora-2领先但即使它们在Impossible场景也明显退化。Predictive vs DescriptiveDescriptive有时反而更差因为模型会忽略指令、回归训练中的常见模式。失败模式Figure 5图像错误结果、属性错误、物理违反。视频动态不合理、时间不一致、affordance误泛化。核心结论当前模型主要依赖高频交互模板而非可组合的物理原语rigidity, force transmission, material constraints等。实验结果揭示了当前视觉生成模型的根本性局限明显的长尾性能差距从 Regular → Unconventional → Impossible性能持续下降最大跌幅在交互准确性和物理真实性说明问题不是视觉质量差而是缺乏对物体 affordance功能属性的理解模型依赖表层视觉模式图像模型常生成看似合理的场景但状态变化不正确视频模型额外存在时间不一致问题如不合理的运动、力传递错误即使明确给出指令模型也常失败描述式设置中模型经常忽略指令退回到熟悉的交互模式5. 讨论与未来工作论文分析了为什么失败视觉模式匹配 vs 属性级抽象感知一致性优先于因果一致性。未来方向包括训练时注入更强的物理归纳偏置。视频模型增强长时序状态跟踪和力一致性建模。扩展到多步操作、多对象因果链等更丰富场景。