InstructSAM: Segment Any Instance with Any Instructions——用任意指令分割任意实例 一、研究背景与问题定义研究目标实现能够理解任意复杂自然语言指令、并一次性分割出图像中所有相关目标实例的视觉分割系统。核心挑战现有SAM3虽能处理概念级提示如交通锥但无法理解复杂组合指令涉及属性、空间关系、排除、计数等。现有VLM分割方案存在两类问题代理式流程VLM改写指令→SAM3多次调用→后过滤慢、脆弱、易丢失语义。令牌即掩码方案如LISA、Sa2VA发射[SEG]令牌但缺乏实例判别性易产生重复/不稳定掩码且推理延迟随实例数增长。任务定义给定图像和自由形式文本指令模型输出一组实例掩码数量可变需同时完成语言理解、视觉定位和实例分离。二、核心方法InstructSAM框架InstructSAM提出推理到实例的显式查询接口核心包含三大组件1. 并行实例查询库Learnable Query Bank在LLM中注入K个可学习的并行查询作为实例槽位。每个查询在LLM内部与视觉令牌、指令令牌双向交互被上下文化为实例感知的嵌入向量。取代传统自回归生成[SEG]令牌的方式实现单次前向传播完成所有实例预测。2. 混合注意力机制Hybrid-Attention文本令牌保持标准因果注意力维持语言建模能力。查询令牌允许双向全上下文注意力——可相互可见也可全局关注图像和指令。作用促进查询间通信捕获目标集合结构有效抑制重复预测。3. 从查询到掩码的投影将LLM调节后的查询嵌入通过MLP投影到SAM3检测器查询空间。同时由LLM生成一个辅助名词短语作为简洁的目标摘要提供额外文本条件。SAM3的检测器和掩码解码器在单次前向中输出最终实例掩码。三、训练策略与损失函数端到端多任务训练联合优化三类损失损失类型作用掩码自回归损失监督LLM生成文本屏蔽掉特殊分割令牌不干扰语言建模分割损失BCE Dice使用二分匹配进行一对一分配监督预测掩码质量存在损失BCE监督每个查询槽位是否对应有效目标实例两阶段训练流程阶段一对齐预训练用250万指代/类别级简单掩码数据对齐LLM查询空间与SAM3空间。阶段二推理知识微调用50万指令级分割数据注入复杂推理和组合指令理解能力。四、数据集构建Inst²Seg为支撑训练和评估作者构建了Inst²Seg大规模基准维度详情训练集10万张图像含COCO、SA-1B、Ego4D等50万QA对基准集986张图像3328条人工验证指令覆盖场景单目标、多目标、无目标对象级和部件级包含推理需求标注流程Gemini生成QA→合并同目标→SAM2生成掩码→人工过滤核心指标实例级mAP主要辅以gIoU语义级相较于RefCOCO、ReasonSeg等既有基准Inst²Seg首次系统性地支持多实例、指令驱动、推理型的实例分割评估。五、实验验证与主要结果对比方法LISA、SA2VA、PixelLM、EVF-SAM、X-SAM、SAM3-Agent等。主要性能结论基准核心结果Inst²SegInstructSAM-2B mAP达31.5远超其他同规模方法ReasonSeg语义级gIoU达65.0显著优于先前SOTAgRefCOCO在多对象指代分割上mAP达57.3全面领先GSEval零样本gIoU达64.1超越EVF-SAMRoboReft测试B集达74.4大幅优于SA2VA34.0和LISA28.7推理效率推理时间仅1.1秒/图而SAM3-Agent需29.6秒快27倍消融实验关键发现移除可学习查询库 → Inst²Seg mAP从31.5降至20.1证明实例槽位的核心作用。移除混合注意力 → ReasonSeg gIoU从65.0降至52.4证明双向查询交互的必要性。移除LLM调节的查询 → Inst²Seg mAP从31.5暴跌至16.7证明语义主要编码在查询中而非辅助短语中。移除数据过滤 → Inst²Seg mAP从31.5降至11.9证明高质量数据标注的重要性。移除阶段一对齐 → Inst²Seg mAP从31.5降至8.1证明对齐预训练的关键性。六、核心贡献总结提出InstructSAM框架首个将LLM推理能力与SAM3强大分割能力通过显式并行查询接口统一连接的端到端方法实现复杂指令下的高效多实例分割。创新设计可学习并行查询库实例槽位混合注意力机制文本因果 查询双向两阶段训练策略对齐 推理微调构建Inst²Seg数据集与基准首个系统性覆盖单/多/无目标、含推理需求的指令驱动实例分割评估基准。显著性能优势2B小模型超越7B/8B大模型及代理流程推理速度比SAM3-Agent快27倍在指代分割、推理分割、机器人定位等多个任务上取得SOTA或接近SOTA结果。七、局限性与未来方向当前仅支持图像输入视频场景因标注复杂性和时间一致性挑战尚未覆盖。与大规模对话指令的联合训练存在任务间干扰需设计更优的协同训练策略。论文通过设计一套可学习查询槽位 混合注意力 两阶段训练的统一框架成功让2B小模型在理解复杂自然语言指令的前提下高效、准确地一次性分割出图像中所有相关实例在性能和速度上均大幅超越现有方案。这里是自己的论文阅读记录感兴趣的话可以参考一下如果需要阅读原文的话可以看这里如下所示项目地址在这里如下所示预训练模型发布地址在这里如下所示数据集地址在这里如下所示在本文中我们介绍了 InstructSAM一个统一且精简的框架旨在实现任意指令下的鲁棒多实例分割。我们将指令驱动的实例分割表述为一个集合结构的查询预测问题并提出了一种显式的“推理到实例”查询接口优雅地桥接了视觉语言模型VLM和 SAM3。具体来说一组可学习的实例查询被注入到 VLM 中并与指令和视觉信息进行上下文关联使每个查询都能作为一个实例感知槽位。一种混合注意力机制进一步促进了这些查询、视觉令牌和指令令牌之间的交互从而改进实例枚举并减少重复预测。由此产生的、由大语言模型LLM调节的查询被投影到 SAM3 的检测器查询空间中以在单次前向传播中驱动精确的多实例分割。这种设计使 SAM3 具备了高级指令理解、组合推理和实例级集合预测的能力而无需修改其核心架构。为了支持训练和评估我们进一步构建了 Inst²Seg一个高质量、大规模、基于指令的实例分割数据集和基准该数据集将自由形式的指令与实例级掩码相结合。大量实验表明仅有 2B 参数规模的 InstructSAM 在复杂的指令驱动和短语级别的指代分割基准测试中均取得了强劲的性能超越了之前的端到端方法和 SAM3 的代理流程同时实现了高效的单次多实例预测。1 引言在图像和视频中分割物体是具身智能体 [1-3]、自主感知 [4]、医疗健康 [5-7] 和视觉编辑 [8, 9] 的一项基础能力。分割一切模型SAM的开创性工作通过实现具有强泛化能力的可提示分割显著推动了这一方向的发展 [10-12]。特别是最近的 SAM3 [12] 将可提示分割扩展到了开放世界、概念级、多实例的设置中即一个简短的名词短语例如“交通锥”可以检索并分割场景中的多个实例如图 1(a) 所示。尽管取得了这些有前景的进展但在概念级提示与真实世界用户意图之间仍然存在关键差距。在实践中用户很少以孤立的名词短语来传达他们的目标相反他们通常会发出复杂的、组合性的指令涉及属性“小杯子”、空间约束“在左边”、关系“在笔记本电脑旁边”、排除“除了前面的那个”或计数“最大的两个”。此类指令需要重要的语义解析、视觉推理和实例级 grounding因为目标对象集合通常是由指令隐式定义的而不是由单个概念标签显式指定的。现有处理复杂指令的尝试主要遵循两种范式。一种常见的解决方案是代理式的分解-过滤流程其中大型视觉语言模型VLM如 Qwen-VL [13] 或 Gemini [14]将复杂指令改写为一个或多个概念级提示重复调用 SAM3 生成候选掩码然后用启发式方法或验证提示对结果进行后过滤。然而这种间接过程缓慢、脆弱且容易导致语义丢失因为改写可能丢弃细粒度约束并且迭代过滤会累积错误。另一条工作路线为 LLM 配备一个特殊的分割令牌即 [SEG]其隐藏状态被解码为一个掩码如 LISA [15] 和 Sa2VA [16] 中所示如图 1(b) 所示。虽然这对于推理驱动的语义分割很有效但这种“令牌即掩码”的接口本质上不具备实例判别性。LISA [17] 通过为实例预测发射多个 [SEG] 令牌来扩展此范式。然而由于 [SEG] 是一个共享符号没有显式的实例绑定机制生成的掩码通常会坍缩为重复项或不稳定产生重复或不一致的输出。此外随着目标实例数量的增加自回归生成多个 [SEG] 令牌会增加推理延迟。图 1 指令驱动分割范式比较(a) SAM3 处理概念级提示但难以处理复杂指令(b) 基于 MLLM 的掩码令牌生成产生语义掩码或不一致的多实例结果(c) 我们的方法利用 LLM 推理来调节一组显式的实例感知对象查询这些查询引导 SAM3 实现连贯的多实例分割。在本文中我们提出了 InstructSAM一个通过显式“推理到实例”接口在任意指令下分割任意实例的统一框架。InstructSAM 不是强制 LLM 逐个令牌地直接“说出掩码”而是利用其通用推理能力来解释复杂指令并将其转换为集合结构的、实例感知的查询表示。这些表示作为与 SAM3 的显式接口实现连贯且高效的多实例分割。具体来说我们在 LLM 中引入了一组可学习的查询作为并行的实例槽位。通过这些查询与指令和视觉上下文之间的双向交互这些槽位被上下文关联成实例特定的嵌入这些嵌入捕获了指令暗示的潜在目标实例。由此产生的、由 LLM 调节的查询随后被投影到 SAM3 的检测器查询空间中它们在其中直接驱动检测器和掩码解码器在单次前向传播中定位并分割多个实例。这种设计桥接了指令推理和掩码预测实现了组合性理解和连贯的实例枚举如图 1(c) 所示。为了进一步推进基于指令的实例分割我们引入了 Inst²Seg一个大规模的数据集和基准它将自由形式的指令与实例级掩码相结合。Inst²Seg 通过精心设计的标注流程构建包含用于训练的 50 万对问答对和一个包含 3328 条人工验证指令的专用基准。该基准涵盖了多样化的现实场景和指令类型包括单目标、多目标和无目标情况以便在复杂指令下对连贯的实例级掩码预测进行系统性评估。大量实验表明2B 参数规模的 InstructSAM 在复杂指令和指代短语下均能实现精确的实例级分割。它在相同模型规模下显著优于先前的端到端方法和 SAM3 的代理流程同时在物体密度和语义模糊程度不同的场景中均表现出稳健的性能。我们将贡献总结如下我们提出了 InstructSAM一个用于指令条件多实例分割的统一端到端框架。页码 3我们在 LLM 中引入了一组可学习的查询作为并行实例槽位并结合混合注意力机制实现连贯的、指令条件下的集合预测。我们构建了 Inst²Seg一个大规模的基于指令的实例分割数据集和基准涵盖单目标、多目标和无目标场景。大量实验表明2B 参数规模的 InstructSAM 在已有基准和新引入的基准上均显著优于先前的端到端方法和 SAM3 的代理流程。2 相关工作2.1 分割一切模型“分割一切”系列工作通过引入可在类别和领域间泛化的可提示模型从根本上重塑了通用视觉分割。SAM [10] 将分割表述为一个“提示到掩码”的任务其中点、框或粗略掩码在图像嵌入的条件下引导掩码解码器。后续工作 [18-20] 沿着几个实用方向扩展了 SAM包括效率和鲁棒性。SAM2 [11] 通过引入基于记忆的时间传播和交互式精炼将该范式推进到视频领域。最近SAM3 [12] 将可提示分割扩展到开放世界、概念级的多实例设置使简短的名词短语能够检索和分割多个对象实例。这一能力显著提高了在多对象场景中的易用性但它仍然主要依赖于简洁的概念提示并非设计用于直接处理需要推理、排除或计数的复杂组合指令。为解决此问题SAM3-I [21] 为 SAM3 配备了指令感知适配器并训练其将自然语言指令映射到掩码。尽管前景广阔但这一方向通常需要修改和重新训练分割模型以内化指令理解。相比之下我们的目标是保留 SAM3 作为强大的开放世界分割器并通过显式的基于查询的机制将其与具有推理能力的 VLM 连接起来。2.2 多模态基础分割越来越多的研究工作致力于如何赋予多模态大语言模型MLLMs[22-32] 像素级 grounding 能力使其能够以分割掩码响应自由形式的指令。一种主导的设计范式是“嵌入即掩码”接口MLLM 被增强一个特殊的分割令牌例如SEG其嵌入被投影到掩码解码器通常是 SAM 风格的提示空间中并以端到端的方式解码为掩码 [15 16, 33-36]。这些方法将短语级语义与像素输出对齐但大多数仍然依赖于为每个语义基础区域发射一个分割令牌。为了从单区域语义基础转向多实例预测LISA [17] 为实例分割产生多个 SEG 令牌并在训练期间采用二分匹配将每个预测掩码分配给真实实例。与此同时X-SAM [37] 通过使用短语分隔符标准化文本提示针对更广泛的“任意分割”公式。与以自回归方式直接生成掩码令牌不同我们的 InstructSAM 主要利用 MLLM 进行指令级推理和实例枚举并通过一组显式的实例感知对象查询将其与 SAM3 接口从而在复杂指令下实现连贯且高效的多实例分割。3 方法在本节中我们首先公式化指令驱动的实例分割任务。然后我们介绍 InstructSAM一个遵循开放形式指令并预测一组实例掩码的实例感知分割框架。最后我们详细说明用于优化所提框架的训练目标。图 2 InstructSAM 框架概述。(a) InstructSAM 集成了多模态 LLM、一组并行的可学习掩码查询和一个用于生成分割掩码的掩码解码器。(b) 多模态 LLM 内部混合注意力设计的说明。3.1 问题公式化与传统的语义级推理分割 [15] 相比此任务更具挑战性因为它不仅需要定位相关的语义区域还需要分离和枚举不同的对象实例。它也不同于典型的指代分割 [21]后者的查询通常是一个明确指定目标的简洁名词短语。相比之下指令驱动的实例分割必须处理开放形式且通常是隐式的指令。这种能力对于具身感知和机器人操作至关重要因为智能体必须识别出要与之交互的具体实例例如“拿起最靠近水槽的杯子”从而实现可靠的抓取规划、碰撞避免和序贯决策。3.2 InstructSAM 概述如图 2(a) 所示InstructSAM 由三个组件构成(i) 一个多模态 LLM F用于指令理解、多模态融合和实例槽位上下文化(ii) 一组并行的可学习掩码查询 Q它显式地将实例槽位参数化为推理与掩码预测之间的接口(iii) 一个集合预测掩码解码器 D实例化为 SAM3用于多实例定位和掩码解码。关键地我们将一组可学习的掩码查询作为并行实例槽位注入到 LLM 中如图 2(a) 所示。这些查询定义了一个显式的槽位空间其中不同的槽位可以在同一图像内专用于不同的目标实例。给定指令、视觉特征和 LLM 产生的文本上下文每个可学习查询被上下文化为一个语义上 grounded 的实例嵌入用于后续的掩码预测。为了鼓励集合级别的连贯性并抑制重复预测我们进一步设计了一种混合注意力模式允许每个实例槽位全局整合视觉证据、指令线索以及其他槽位的信息如图 2(b) 所示。由此产生的、由 LLM 调节的查询嵌入随后被投影到 SAM3 的检测器查询空间中并由其检测器和掩码解码器在单次前向传播中生成多个实例掩码。这种架构使得 InstructSAM 能够结合 MLLM 的推理能力和 SAM3 强大的开放世界多实例分割能力。3.2.1 并行实例查询库3.2.2 混合注意力设计为了协调语言生成与实例级集合预测我们提出了一种混合注意力模式如图 2(b) 所示。其关键思想是根据文本令牌和掩码查询的角色对其进行不同处理并且实例查询不应独立或顺序地生成。文本令牌遵循用于自回归语言建模的标准因果注意力而掩码查询被允许双向地关注其他掩码查询。这种设计保留了 LLM 的语言建模能力同时使实例槽位能够相互通信以捕获目标集合结构并抑制重复预测。3.2.3 从查询到掩码表 1 Inst²Seg 基准与现有指代图像分割基准的比较。我们的 Inst²Seg 提供基于指令的实例级评估涵盖单目标、多目标、无目标和推理场景。ST MT, NT, 和 Reas. 分别代表单目标、多目标、无目标和推理。3.3 训练目标4 Inst²Seg 数据集在本节中我们介绍 Inst²Seg一个大规模的基于指令的实例分割数据集和基准旨在将自由形式的指令与实例级掩码相结合。它被设计用于支持复杂指令驱动分割的细粒度指令推理和精确掩码标注。训练数据。我们从两个来源收集训练图像(i) 从 SA-1B [10]、COCO2017 [40] 采样的常规异中心图像以及 (ii) 从 Ego4D [41]、EPIC-KITCHENS [42]、和 HD-EPIC [43] 策展的自我中心图像。对于自我中心子集我们裁剪具有显著场景变化的片段并丢弃模糊或低质量的帧。我们的标注流程包括四个阶段。1使用 Gemini 3 Flash [23] 生成问答对产生面向定位的指代性问题包含难负例和简洁的名词短语答案以及一个明确的“基础真值”字段编码计数/量词以用于多实例目标2对象合并与框生成将指代同一目标的问题合并到一个共享的 object_id并由 Gemini 预测归一化的 2D 边界框3通过使用 SAM2 [11] 以边界框为提示进行提示为每个 object_id 生成像素精确的实例掩码进行掩码标注4过滤以移除低质量或不一致的样本。总共我们策展了 100K 张图像和 500K 个问答对。基准。Inst²Seg 基准包含 986 张图像和 3328 条独特指令。与现有的指代图像分割基准 [44-47]表 1相比Inst²Seg 通过涵盖指令提示下的单目标、多目标和无目标情况提供了更具挑战性的评估设置并跨越了对象级和部件级粒度。所有基准指令和掩码都经过人工验证以确保高质量。代表性示例如图 3 所示。指标。我们采用平均精度mAP作为评估实例级预测的主要指标。为了提供更细粒度的分析我们进一步按目标数量对结果进行分层包括单目标、多目标和无目标情况。由于许多先前的方法没有明确区分单个实例我们额外报告广义 IoUgIoU作为补充的语义级指标。图 3 所提出的 Inst²Seg 基准示例涵盖需要实例级推理和分割的多种指令类型。5 实验5.1 实现细节表 2 基于推理的指令分割基准上的结果包括我们提出的 Inst²Seg实例级和 ReasonSeg [15]语义级。灰色条目表示模型在相应的训练数据上进行了微调。GSEval。表 3 报告了在 GSEval [47] 上的零样本结果这是一个全面的指代表达分割基准涵盖四个具有挑战性的子集stuff、part、multi-object 和 single-object。由于 GSEval 仅提供语义级标注我们遵循官方协议并报告 gloU。InstructSAM 取得了最佳性能比之前的最先进方法 EVF-SAM [50] 高出 1.51.5 个 gloU 点。RoboReft。我们进一步在 RoboReft [52] 上评估 InstructSAM这是一个为室内环境中的机器人感知和推理而设计的具有挑战性的视觉基础基准。RoboReft 要求机器人定位由语言命令指定的目标对象。如表 4 所示InstructSAM-2B 显著优于其他基于 MLLM 的分割方法。值得注意的是它在分布内的测试A 集上接近任务特定的 RefTR-r50 [52]并在分布偏移的测试B 集上大幅超越它12.9突显了我们方法的强大泛化能力。表 4 RoboReft 基准上的结果。InstructSAM2B 优于先前的分割方法并在分布偏移的测试B 集上显示出强大的泛化能力。5.2 复杂推理分割实例级 Inst²Seg。表2报告了在Inst²Seg基准的三个子集上的结果单目标、多目标和无目标。对于多轮代理流程我们评估了使用Qwen2.5-VL-3B和Qwen2.5-VL-7B的SAM3-Agent [12]。对于端到端模型我们与语义级方法包括LISA [15]、SA2VA [16]和X-SAM [37]以及实例级方法LISA [17]和PixelLM [34]进行了比较。在端到端方法中InstructSAM-2B以较大优势取得了最佳mAP突显了其遵循实例级指令的优越性。为补充mAP我们通过取每个样本预测掩码的并集来报告gIoU作为语义指标gIoU与mAP之间的差距表明实例判别比粗略的语义区域定位困难得多但我们的InstructSAM在大多数子集上仍然表现强劲。值得注意的是对于无目标子集我们在零样本设置下进行评估未使用Inst²Seg训练集中的任何无目标指令。InstructSAM仍然取得了稳健的性能展示了其对无效目标情况的泛化能力。与需要多轮交互和更长上下文的多轮代理流程相比InstructSAM在相当的模型规模下取得了领先性能。例如与基于Qwen2.5-VL-3B的SAM3-Agent相比InstructSAM的mAP提升了8.3gIoU提升了11.7。这些结果表明了InstructSAM在指令驱动分割任务上的有效性。语义级 ReasonSeg。表2还报告了在推理语义分割基准ReasonSeg上的结果。遵循[15]的官方协议我们在验证集和测试集上均报告了gIoU和cIoU。与类似规模的模型如X-SAM [37]和SA2VA-4B [16]相比InstructSAM取得了显著更好的性能在验证集上cIoU提升了5.0在整个测试集上提升了5.2。这一改进在长指令上尤为明显InstructSAM在测试长集上获得了6.9的cIoU增益展示了其对复杂和冗长描述的更强鲁棒性。5.3 短语级指代表达分割gRefCOCO。如表3所示InstructSAM在gRefCOCO [46]基准上取得了强劲性能。由于gRefCOCO提供实例级标注并包含多个目标实例我们在传统的基于IoU的指标之外还报告了实例级mAP。InstructSAM-2B在语义级cIoU上超越了最强的前序方法GSVA-7B [48]在验证集上提升6.6在testA上提升3.1在testB上提升4.9。它还在mAP上显著高于支持多实例的方法如PixelLM-7B [34]和X-SAM [37]展示了在不同指代表达式下的稳健实例判别能力。GSEval。表3报告了在GSEval [47]上的零样本结果这是一个全面的指代表达分割基准涵盖四个具有挑战性的子集stuff、part、multi-object和single-object。由于GSEval仅提供语义级标注我们遵循官方协议并报告gIoU。InstructSAM取得了最佳性能比先前的 state-of-the-art 方法 EVF-SAM [50] 高出 1.5 个 gIoU 点。RoboRefIt。我们进一步在 RoboRefIt [52] 上评估 InstructSAM这是一个为室内环境中的机器人感知和推理而设计的具有挑战性的视觉基础基准。RoboRefIt 要求机器人定位由语言命令指定的目标对象。如表4所示InstructSAM-2B 显著优于其他基于 MLLM 的分割方法。值得注意的是它在分布内的 testA 集上接近任务特定的 RefTR-r50 [52]并在分布偏移的 testB 集上以较大幅度超越它12.9突显了我们方法的强大泛化能力。5.4 消融研究InstructSAM 中的关键设计。我们在表 5 中消融了 InstructSAM 的两个核心组件。表 5 InstructSAM 关键设计选择的消融研究。我们报告了 gRefCOCO 上的平均验证分数、Inst2Seg 上的 mAP 以及 ReasonSeg-val 上的 clOU。移除可学习查询w/o query bank迫使模型依赖自回归生成的掩码令牌而没有显式的查询条件导致在所有基准上性能持续下降。在实例级的 Inst2Seg 基准上退化最为明显mAP 从 31.5 降至 20.1证明了查询库对于实例基础的重要性。将混合注意力替换为普通因果注意力w/o hybrid-attention也会降低性能尤其是在 ReasonSeg 上分数从 65.0 降至 52.4。这突显了双向查询交互和跨模态融合在实现鲁棒的视觉-文本基础和掩码预测中的作用。查询数量的扩展。我们分析了 InstructSAM 对查询数量 K 的敏感性以及其对密集场景的适用性。如表 6 所示将 KK 从 10 增加到 200 导致性能变化极小而推理时间稳步增加。这表明对于大多数样本少量经过良好调节的查询就足够了这与数据分布一致即大多数指令涉及少于 10 个目标实例。更大的查询库可能引入冗余槽位而没有明显的性能提升。LLM 调节查询的重要性。为了验证主要语义信号来自 LLM 调节的查询表示我们使用相同的训练检查点进行了两次推理消融实验。首先我们用虚拟令牌令牌 id 0替换生成的名词短语同时保持架构的其余部分不变。这仅导致适度的性能下降表明名词短语不是指令语义的主要载体。其次我们移除了 LLM 调节的查询表示。如表 7 所示这导致所有指标上的下降幅度大得多表明主要的语义信息编码在解码器融合后的、由指令调节的查询中。这些结果表明名词短语主要提供辅助的文本条件以保持与 SAM3 接口的稳定性和兼容性而 LLM 调节的查询则作为指令驱动掩码预测的核心语义表示。数据引擎的有效性。表 8 在我们的实例级基准 Inst²Seg 和语义级基准 ReasonSeg 上消融了我们的数据引擎。移除构建的训练数据w/o training data降低了 Inst²Seg 上的性能表明高质量的多实例指令-掩码对对于学习可靠的实例感知行为至关重要。更重要的是移除过滤阶段w/o filtering在两个基准上都导致了显著的性能下降Inst²Seg mAP 从 31.5 降至 11.9ReasonSeg clOU/gloU 从 63.0/61.8 降至 57.9/58.1。这表明朴素的 MLLM-SAM3 数据生成引入了相当大的标签噪声。完整的流程取得了最佳性能表明我们的数据引擎为指令驱动的实例分割提供了可靠的监督。对齐阶段的影响。表 9 评估了在指代和基于指令的分割基准上的对齐阶段阶段 1。移除对齐导致一致的下降在 gRefCOCO 上验证集 mAP 从 57.3 降至 41.3-16.0验证集 clOU 从 68.3 降至 57.7-10.6。在指令遵循基准上退化更为严重Inst²Seg mAP 从 31.5 降至 8.1-23.4ReasonSeg 验证集 clOU 从 65.0 降至 15.9-49.1。这些结果表明对齐阶段对于耦合语言理解与掩码预测以及提高对组合指令的泛化能力至关重要。推理效率。我们在受控设置下比较推理效率。所有方法使用相同的 Qwen3-VL-2B 骨干网络并在相同的硬件条件下进行评估。延迟在 Inst²Seg 上测量并对所有指令取平均。如表 10 报告InstructSAM 显著表 10 Inst²Seg 基准上的推理时间比较。5.5 定性结果图 4 展示了 InstructSAM 与现有方法包括 SAM3-Agent-Qwen3-VL-2B [22] 和 SA2VA-4B [16]的定性比较。这些示例涵盖了不同的指令遵循场景例如识别禁止标志、选择工具、识别支撑结构以及在衣物上定位文字。与基线相比InstructSAM 生成了更精确的实例级掩码并能更好地遵循复杂的语言指令。特别是它在细粒度视觉推理和多目标定位方面表现出更强的能力。6 结论在本文中我们提出了 InstructSAM一个用于具有任意复杂指令的指令驱动多实例分割的统一框架。InstructSAM 建立在显式的“推理到实例”查询接口之上将任意指令转换为一组并行的、可学习的实例槽位并将它们投影到 SAM3 的检测器查询空间中。这种设计能够对涉及属性、关系、计数、排除和隐含意图的自由形式指令进行鲁棒推理。在多样的指令驱动和指代分割基准上紧凑的 2B 参数规模 InstructSAM 持续取得强劲性能生成准确且高效的多实例掩码同时显著优于先前的端到端方法甚至超越了多轮代理流程。