
文章核心总结本文提出MM-OPERA基准,针对大型视觉语言模型(LVLMs)的开放式关联推理能力进行评估,弥补现有闭卷任务无法捕捉复杂关联推理的缺陷。基准包含11,497个实例,涵盖远程项目关联(RIA)和上下文关联(ICA)两大任务,结合认知心理学原理,通过LLM-as-a-Judge策略实现多维度评估。实验表明,当前顶尖LVLMs在关联推理上仍显著落后于人类,尤其在发散思维、跨模态泛化和复杂推理路径上存在明显不足。核心创新点开放式关联推理基准设计:突破传统闭卷任务限制,采用无预定义答案的开放式任务,覆盖13个关联维度、15种语言和22个主题领域,全面评估收敛思维与发散思维的结合。双任务架构:RIA任务要求发现无关概念的深层关联,ICA任务侧重模式抽象与迁移,模拟人类关联推理的核心过程。精细化评估体系:提出常规评分与过程奖励评分(PR-Judge)结合的LLM-as-a-Judge策略,不仅评估结果质量,还通过推理路径拆解(如跳数、合理性、独特性)分析推理过程。多维度鲁棒性验证:通过图像替换、跨模态替换、输入顺序敏感测试,验证基准对表面特征干扰的抵抗力,确保评估的可靠性。翻译部分(Markdown格式)Abstract大