这项由武汉大学、加州大学默塞德分校、悉尼科技大学、新加坡国立大学、南洋理工大学及中国科学院自动化研究所联合完成的研究以预印本形式于2026年6月30日发布在arXiv平台编号为arXiv:2607.00115v1。感兴趣的读者可通过该编号查询完整论文。说到底这篇论文要解决的问题其实你我都经历过——在一张巨大的全景照片里找某个细小的东西。比如家庭聚会的大合影你要找角落里那个戴红帽子的小孩或者一张卫星俯瞰图你要找某个停车场里某辆特定颜色的车。对人来说这已经够费眼神了。但对那些被寄予厚望的AI视觉模型来说这件事更是一个棘手的难关——它们往往看了半天不是找错地方就是找到了却认不出来。研究团队把这种现象叫做注意失明——目光扫过了正确区域却脑子没跟上没能给出正确答案。这个词借用自心理学原本用来描述人在专注一件事时忽略了眼前明显事物的现象。现在它被用来精准描述AI在视觉搜索中的一种典型失误。而解决这个问题就是PixelEyes系统诞生的全部意义。一、一个AI为什么会眼睁睁看着却认不出来要理解这项研究要解决什么问题先得理解现有AI是怎么工作的。当前主流的视觉语言模型就像是一个被要求同时扮演侦探和线人的单人演员——它既要决定去哪里找线索推理又要亲自去找感知还要解读找到的东西识别。这三件事套在同一个模型身上就像让一个人同时驾车、看地图、还要接电话顾此失彼几乎是必然的。具体来说当AI面对一张超高清大图被问那个穿红衣服的人手里拿的是什么时它通常的做法是先圈出一个大致区域再放大看再圈再放大……如果一开始圈的位置就不精确后续每一步都可能在错误的路径上越走越远最终花了十几轮操作依然找不到目标直到系统给的交互次数用完为止。这就是论文里说的低效深度搜索循环。更糟糕的是这类模型本身的感知能力——也就是在图里精确定位小目标的能力——其实比不上专门做图像分割的工具而它的推理能力——理解问题、分析证据、给出答案——又比不上纯粹的语言推理模型。两边都差一口气合在一起就造成了双重失误。研究团队对这一现象做了深刻的溯源问题的根本在于感知和推理被强行绑定在了同一个模型里。既然绑在一起会出问题那就把它们拆开——这就是PixelEyes的核心思路。二、把找和想分给两个专家PixelEyes的设计哲学可以用一句话概括让专业的人做专业的事。在这个系统里负责想的是一个通用的视觉语言大模型它的工作是分析问题、规划搜索路径、最终给出答案。负责找的则是一个独立的图像分割工具——SAMTok它的工作是接收一段文字描述比如那顶绿色的安全帽然后在指定的图像区域里精确找出目标并返回一个像素级的轮廓遮罩。这就好比一家专业的寻物公司分成了两个部门一个是策略部负责分析委托人的需求制定搜索计划决定先去哪些区域、怎么搜另一个是现场部负责带着放大镜去执行找到东西后精确标注位置。策略部不用亲自去翻箱倒柜现场部不用操心为什么要找这个东西。两个部门各司其职效率大幅提升。在技术层面PixelEyes的工作流程如下。大模型收到图片和问题后会先对整张图做一个粗略判断提出一个大概的候选区域一个矩形框和一段文字描述目标。系统随后把这个候选区域截图连同文字描述一起交给SAMTok。SAMTok会在这个截图里找到目标并给出像素级别的精确遮罩轮廓。系统再根据这个轮廓裁出一个刚刚好包住目标的精细区域稍微放大一点以保留上下文然后把这张精细裁切图交还给大模型去识别和推理。当SAMTok找不到目标时比如搜索区域根本没有目标或者目标是图表、地图这类不适合用分割来定位的内容系统有一个备用方案直接使用大模型自己估计的矩形框来裁切退回到传统的方式。这种可切换工具的设计让系统既能在常见场景下享受精准遮罩的红利又不会在特殊场景下完全罢工。三、不走回头路一种更聪明的搜索地图仅仅把感知和推理分开还不够。搜索策略本身也需要重新设计。传统的多轮视觉搜索往往是一种深挖模式在某个区域里找不到就继续放大同一个区域再找不到再放大直到再也放大不了才考虑换个地方找。这就像在一片森林里找一只蚂蚱你一直盯着同一棵树挖却忘了旁边还有整片森林没有搜索过。而且随着放大层数越来越多你手里的地图——也就是AI的上下文记忆——会堆满越来越多的局部截图搞得模型自己也搞不清楚现在在哪里之前看过哪里了。PixelEyes的解决方案叫做语义区域广度优先搜索Semantic-Region BFS。这个名字听起来学术背后的逻辑其实非常直觉先把整张图的不同区域都扫一遍确认每个区域有没有目标再在最有可能的区域里深入确认而不是一根筋地在一个地方越挖越深。更关键的一点是所有的坐标都锚定在原始图片上。无论搜索进行到第几轮每次提出的候选区域都是相对原图的位置而不是相对上一次裁切图的位置。这就避免了坐标系叠套的混乱——AI不用费心去记我现在看到的这张图是从哪张图裁出来的那张图又是从哪张图裁出来的。同时每次搜索时AI会用一句简短的文字来描述自己打算去看哪个区域比如左下角停车场附近的区域这句描述会留在对话记录里形成一份语义足迹。下次搜索时AI只需要看一眼这些记录就能知道哪些地方已经找过了、找了什么结果从而自然地将注意力转移到尚未覆盖的新区域。这就像是一个经验丰富的寻宝者在一张大地图上做标记每找过一个区域就在那里插一面旗旗上写着这里找过了没有。下一步永远朝着没有旗子的地方走而不是在已有旗子的地方原地打转。四、用6000条专家经验来训练AI的搜索直觉好的架构设计只是第一步。要让AI真的学会这套搜索方式还需要大量的训练数据。但现成的训练数据里根本没有这种遮罩引导搜索加广度优先策略的范例——因为这套方法是研究团队自己发明的。于是研究团队想了一个聪明的办法用谷歌的Gemini-3-Flash大模型来自动生成训练数据。他们给Gemini配上了SAMTok工具然后给它提供了几个手工编写的示范轨迹告诉它你应该这样搜索。接着让Gemini在真实的图片问答任务上自己跑每一轮搜索的过程都被完整记录下来。最后只保留那些最终给出了正确答案的轨迹——错的全部丢掉。经过这个筛选流程从大约7000个原始任务里保留下了5800条高质量的搜索轨迹构成了PixelEyes-6K数据集。这些轨迹里包含了工具调用的记录、区域描述的文字、每次搜索的坐标、以及最终的正确答案是一份完整的专家示范集。有了这份数据研究团队用监督微调的方式先把Qwen-3-VL大模型训练成能够模仿这些轨迹的基础版本。然后再用强化学习具体来说是一种叫GRPO的方法进一步打磨让模型在实际交互中自己摸索如何更快速、更准确地找到目标并给出答案。值得一提的是为了鼓励模型走高效路线而非靠试错凑次数研究团队没有采用某些竞品里用的超次数遮罩技巧而是直接用最简洁的GRPO来优化路径效率。五、一把衡量找到了没有认出来没有的新尺子论文的另一项重要贡献是一个全新的测试基准Pinpoint-Bench。现有的视觉搜索测试集存在几个问题。有些已经太容易最新的模型准确率动不动就超过90%区分不出谁更强。有些虽然难但缺乏空间标注研究者根本没办法判断模型是没找到还是找到了却没认出来调试起来极其困难。还有些测试集对答案的文字要求太死板比如标准答案写米色模型回答浅棕色就算错尽管两者描述的是同一个颜色——这种误判会让模型的真实能力被低估。Pinpoint-Bench由研究团队从零开始人工标注共收录433张超高清图片平均分辨率5500×3516像素。每张图里的目标极其微小平均只占整张图面积的0.07%——相当于在一个足球场大小的图里找一张A4纸大小的目标。所有问题都严格遵守零提示原则不告诉你目标在哪个方位不给任何位置线索只问你目标是什么或者目标有什么属性强迫AI进行真正的自主搜索。每个目标都有精确的像素级遮罩和矩形框标注便于自动化分析中间过程。在评估指标上Pinpoint-Bench引入了两个新概念。第一个叫定位成功率LSR它只问一件事在整个搜索过程中AI有没有在某一轮里真正扫过目标所在的区域哪怕最终答错了只要曾经路过目标就算定位成功。第二个叫答题效率TAE用最终准确率除以平均交互轮数数值越高说明AI又快又准——既高效又正确。这两个指标组合在一起就能把找不到和找到了但答错了这两种失败清晰地区分开来。LSR高但准确率低说明AI有注意失明问题——它确实看到了目标但没能从中提取出正确答案LSR和准确率都低说明AI根本没搜索到正确区域是纯粹的定位失败。为了应对答案歧义问题Pinpoint-Bench还为每道题准备了多个同义答案配合大语言模型担任裁判只要AI的回答和任意一个同义答案语义一致就算回答正确从根本上杜绝了因文字表述不同而被误判扣分的情况。六、实验数据说明了什么研究团队在多个基准测试上对PixelEyes进行了全面评估对比对象包括封闭源前沿模型Gemini-3-Flash、开源基础视觉语言模型Qwen-2.5-VL、Qwen-3-VL系列以及专门的主动感知智能体DeepEyes、Pixel-Reasoner、Thyme、Mini-o3。在标准的高清视觉搜索测试集V*和HR-Bench上PixelEyes-8B版本取得了94.24%和85.00%的准确率超过了参数量达到235B的Qwen-3-VL-235B尽管PixelEyes-8B的参数量只有其约3.5%。这说明在这类任务上方法的结构设计比单纯堆砌参数量更有效。在更复杂的VisualProbe测试集上PixelEyes-4B在困难子集上的准确率从基础模型的34.91%提升到了54.72%提升幅度接近20个百分点。Pinpoint-Bench上的数据最能说明问题。竞品Mini-o3的定位成功率高达78.52%——说明它大多数时候确实能找到目标区域但最终准确率只有44.34%中间差了34个百分点这34个百分点就是注意失明的规模。而且Mini-o3完成一道题平均要用5.29轮交互效率指标TAE只有8.38。PixelEyes-4B的准确率提升到54.73%平均只需要2.09轮交互TAE达到26.13——大约是Mini-o3的三倍效率同时准确率还高了10个多百分点。PixelEyes-8B进一步把准确率推到55.20%TAE达到26.64。从失败案例的分解分析来看Mini-o3有38.34%的样本属于找到了但答错了——遮罩太粗太大目标虽在视野里但被太多背景干扰推理无从下手。PixelEyes-4B的这一比例降低到26.56%找到且答对的比例从40.18%提升到50.35%说明精确遮罩裁切确实让推理模块更容易从证据中提取答案。按任务类型细分PixelEyes在属性识别比如那件外套是什么颜色和OCR找图里的文字这两类需要精细视觉特征的任务上优势最明显分别比Mini-o3高出约12个百分点。在空间关系判断比如A在B的左边还是右边这类需要整体布局理解的任务上基础大模型的全局感知反而更有优势这说明PixelEyes的遮罩裁切策略对局部细节识别帮助最大而整体空间关系仍是当前方法需要继续改进的地方。研究团队还做了一个很有意思的验证把SAMTok工具以插件形式直接接入Gemini-3-Flash不做任何训练只是在推理时使用这套工具。结果发现Gemini在VisualProbe困难集上的准确率从47.17%提升到61.32%在Pinpoint-Bench上的准确率从42.26%提升到68.36%提升幅度高达26个百分点。这个实验说明PixelEyes的核心机制具有很强的迁移性即使不重新训练模型只是给它配上正确的工具和搜索策略效果提升也相当可观。消融实验就是逐一去掉某个组件看效果会下降多少的实验进一步证实了各个设计决策的价值。用Mini-o3的训练数据替换PixelEyes-6K来训练同一个基础模型VisualProbe困难集的准确率从34.91%下降到24.52%——Mini-o3的训练数据会诱导模型陷入反复在同一区域深挖的僵局。把SAMTok换成另一个分割模型Sa2VA工具调用成功率从99.17%暴跌到65.29%定位成功率从76.91%降至50.58%说明SAMTok的高可靠性对整个系统至关重要。七、系统的局限与未来空间研究团队在论文中坦诚地提到PixelEyes的解耦设计引入了一定的架构复杂度系统需要同时维护一个大模型和一个独立的分割模型相比端到端系统部署和推理的工程成本更高这是目前需要进一步优化的方向。从实验的失败案例来看PixelEyes在宏观搜索能力上仍有不足——当目标在图中的大致位置需要较强的整体场景理解才能推断时系统有时会在错误的大区域里花费过多时间。此外对于有多个相似干扰项的场景比如图里有好几个穿白衬衫的人要找其中戴耳机的那个系统有时会把属性条件理解错误定位到错误的人这属于推理模块本身的局限与感知精度无关。归根结底PixelEyes这项研究告诉我们一件很朴素的事当一个任务需要多种能力协作时不一定非得让一个模型同时学会所有能力。把任务拆开让最擅长各自领域的工具各司其职再通过合理的协调机制把它们串联起来往往能比全能选手单打独斗走得更远、更快、更准。这个思路不仅适用于视觉搜索也许对整个AI系统的设计都有参考意义。对于普通用户而言这项研究离实际应用并不遥远。卫星图像分析、医学影像中的病灶定位、工厂质检中的微小缺陷检测、超高清监控画面中的目标追踪——这些场景都在每天发生都面临着同样的大海捞针困境。PixelEyes提供的解决思路或许会成为未来这类应用的技术基础之一。QAQ1PixelEyes和普通的视觉AI有什么区别A普通的视觉AI通常让同一个模型同时负责找目标和理解内容两件事互相拖累。PixelEyes把这两件事分开一个通用大模型负责规划搜索路径和分析答案另一个专门的图像分割工具SAMTok负责精确定位目标返回像素级别的精确轮廓。这种分工让定位更准、推理更清晰搜索效率也大幅提升平均只需2.09轮交互就能找到目标并给出答案。Q2Pinpoint-Bench和其他视觉搜索测试集有什么不同APinpoint-Bench最大的特点是极难加有诊断能力。目标平均只占图片面积的0.07%问题完全不给位置提示。更重要的是每个目标都有精确的像素遮罩标注测试集能区分没找到和找到了但没认出来两种不同的失败而不是笼统地都算答错。这让研究者能精准定位AI的问题所在而不只是知道它答对了几道题。Q3PixelEyes-6K数据集是怎么来的A研究团队没有手工标注训练数据而是让谷歌的Gemini-3-Flash大模型配上SAMTok工具按照PixelEyes的搜索策略自动跑任务完整记录每一轮的搜索过程。跑完之后只保留最终答案正确的轨迹丢掉答错的从约7000个原始任务里筛出了5800条高质量搜索轨迹形成了PixelEyes-6K数据集用于后续的监督微调训练。