Re-TRAC框架：用结构化状态表示重塑LLM搜索智能 1. 这不是又一个“更大即更好”的故事而是对搜索智能本质的重新定义你有没有试过让一个大模型帮你查点东西比如“2024年诺贝尔物理学奖得主在获奖前最被引用的三篇论文是什么”——问题一抛出去模型立刻开始调用搜索工具翻出一堆网页标题然后在第5次点击后它突然卡住了页面内容太多上下文满了或者它明明在第一次搜索结果里看到了关键线索却在后续几百轮交互中彻底把它忘了。最后交给你一个似是而非的答案还附带一句“根据我查阅的资料……”。这不是模型“笨”而是它被设计成了一台线性执行机。Re-TRAC框架的出现恰恰是微软团队对着这台机器的说明书亲手撕掉了“线性”那一页。这个标题里藏着一个反直觉的真相“4B性能SOTA30B超越358B”根本不是在夸参数量而是在宣告一种新范式的胜利——当模型的“记忆”和“反思”能力被系统性地工程化之后规模带来的边际效益会急剧衰减甚至被彻底逆转。Re-TRAC的核心是一套为“深度研究代理”Deep Research Agent量身定制的、可递归执行的“经验压缩”协议。它不靠堆算力去穷举所有可能性而是像一位经验丰富的侦探在每一次现场勘查trajectory结束后不是把所有笔记一股脑塞进背包导致下一次出发时背包太重走不动而是拿出一张标准格式的案情摘要卡Structured State Representation只记录最关键的四件事目前最靠谱的答案是什么、哪些证据链已经闭环、哪些线索还悬而未决、以及上一次行动中哪些计划被意外搁置了。这张卡就是下一次行动的唯一地图。所以当你看到“4B模型达到SOTA”时它的真实含义是一个仅含40亿参数的模型经过Re-TRAC框架的微调与部署其在BrowseComp等专业搜索基准上的准确率30.0%已经超过了所有其他同级别15B开源模型包括那些专为搜索任务优化的InfoAgent-14B15.3%和WebExplorer-8B15.7%。而“30B超越358B”更是一个震撼的实证Re-TRAC-30B-A3B模型在BrowseComp上取得了53.0%的准确率一举压过了参数量是它12倍的GLM-4.7-358B52.0%。这背后没有魔法只有一套精密的、可复现的工程逻辑用结构化的状态表示State Representation替代无序的上下文堆砌用跨轨迹的知识沉淀Cross-Trajectory Knowledge Consolidation替代孤立的单次尝试Independent Rollouts。它解决的不是“模型能不能算”而是“模型会不会学”——学着从自己的失败中提取教训学着把每一次探索都变成下一次探索的跳板。这篇文章就是带你亲手拆解这套逻辑看看它如何将一个“线性执行器”重塑为一个“递归思考者”。2. Re-TRAC的底层逻辑为什么线性搜索注定失败要真正理解Re-TRAC的价值我们必须先回到那个被无数论文轻描淡写带过的起点ReAct框架。它几乎是当前所有LLM代理的“默认操作系统”其核心思想简单到令人安心——“想一想做一做再想一想再做一做……”Reason, Act, Reason, Act…。这个循环被完美地编码在提示词prompt里模型只需按部就班地填充“思考”和“行动”的占位符即可。然而微软团队在论文的“Motivation”章节里用一份冷峻的数据报告戳破了这个美好幻象。他们分析了大量在BrowseComp基准上失败的代理轨迹trajectories发现了一个惊人的共性高达93%的失败案例并非源于模型“想错了”而是源于它“想好了却没做完”。具体来说模型在早期推理中往往会主动规划出多条潜在的搜索路径例如“我需要先查A公司的财报再对比B公司的专利最后验证C机构的声明”但随着工具调用次数的增加、上下文长度的膨胀这些早期规划就像被潮水冲刷的沙堡逐渐模糊、变形最终在漫长的交互链中彻底消失。论文Table 1里的数据触目惊心GLM-4.7模型的失败轨迹中93.0%都存在这种“未完成分支”Incomplete Branch Exploration现象。这揭示了一个残酷的现实ReAct框架的线性本质与深度研究任务的树状、网状、需要反复回溯与分支的本质存在着根本性的结构性错配。这种错配直接导致了三个无法回避的“死亡螺旋”2.1 死亡螺旋一灾难性遗忘Catastrophic Forgetting的必然性想象一下你正在处理一个长达20万token的搜索任务。在第1轮你设定了一个宏大的研究目标“找出影响全球锂矿供应链的关键地缘政治风险”。这个目标是你整个探索的“北极星”。然而到了第15轮你的上下文里塞满了14次搜索返回的网页摘要、8次网页访问提取的文本片段、以及无数次中间推理的草稿。此时那个最初的、高屋建瓴的目标早已被淹没在信息的汪洋大海里。模型不是“故意忘记”而是它的注意力机制attention mechanism在巨大的上下文中天然地倾向于关注最近、最具体的token而非遥远、抽象的目标陈述。这就造成了“目标漂移”——模型的行动越来越微观、越来越琐碎却离最初要解决的那个宏大问题越来越远。Re-TRAC对此的回应极其务实它不试图让模型记住所有细节而是强制它在每一轮结束时必须生成一份“目标锚点”Current Answer和一份“未竟事业清单”Uncertainties Exploration Trace。这份清单就是对抗遗忘的“记忆锚”。2.2 死亡螺旋二冗余探索Redundant Exploration的无限循环在ReAct的独立多次尝试如Best-of-N范式下每一次新的搜索都是从零开始。这意味着如果模型在第一次尝试中已经成功验证了“A公司财报显示其锂库存充足”那么在第二次、第三次尝试中它极有可能会再次调用同样的搜索工具去重复验证同一个事实。这不仅是计算资源的巨大浪费更是一种认知层面的低效——它没有将“已知”转化为“已用”。Re-TRAC通过其状态表示中的“证据库与来源验证”Evidence Base Source Verification这一维度彻底终结了这种循环。每一条被确认的事实都会被明确标注其来源[Source: Search | URL: https://a.com/financials | Verified: yes]和验证状态。当下一轮启动时模型一眼就能看到“哦A公司的库存问题上一轮已经搞定了这次不用再查。” 这种基于状态的“知识继承”让每一次探索都建立在坚实的认知地基之上而非流沙。2.3 死亡螺旋三局部最优Local Optima的温柔陷阱这是最隐蔽也最危险的一个陷阱。模型可能在某一轮中找到了一个看起来非常完美的答案。这个答案逻辑自洽、证据充分足以让它自信地提交。但它忽略了一个关键点这个答案只是在它所探索的那棵“搜索树”的一个分枝上得出的。而整片森林里可能还存在着另一棵完全不同的树其根系深扎于一个被它完全忽视的领域。ReAct框架缺乏一种机制来提醒模型“嘿你刚才只看了东边的树林西边的山头你连影子都没见着呢。” Re-TRAC的“不确定性与探索轨迹”Uncertainties Exploration Trace模块正是为此而生。它不仅记录“我们还不知道什么”更会强制记录“我们曾经计划要去哪里但没去成”。当模型在下一轮看到“未完成的分支检查C机构关于南美锂矿政策的白皮书”时它就获得了一个无法回避的、来自过去的指令从而被迫将探索的触角伸向那个被遗忘的角落。这不再是模型的自发行为而是框架赋予它的、不可推卸的“探索责任”。提示理解这三个“死亡螺旋”是掌握Re-TRAC精髓的前提。它不是一个锦上添花的技巧而是一套针对现有范式根本缺陷的、外科手术式的解决方案。你在后续的实操中每一个配置项、每一段提示词几乎都能在这三个螺旋中找到其对应的“靶点”。3. 结构化状态表示SSRRe-TRAC的“心脏”与“灵魂”如果说Re-TRAC是一个生命体那么“结构化状态表示”Structured State Representation, SSR就是它的心脏与灵魂。它绝非一个简单的摘要summary而是一份由严格规范compression specification 生成的、具有多重维度的、可被机器精确解析与利用的“认知快照”。论文中将其精妙地划分为三个互补的“面”facets每一个面都承担着不可替代的功能。理解并亲手构建一份高质量的SSR是部署Re-TRAC的第一步也是最关键的一步。3.1 “答案与分析结论”面为探索设定航标这个面是SSR的“北极星”它回答的是最核心的问题“我们此刻站在哪里” 它要求模型提炼出当前轨迹中所能得出的、最可靠、最具体的答案。注意这里强调的是“最可靠”而非“最完整”。在深度研究的早期阶段一个部分答案partial answer往往比一个模糊的、包罗万象的猜测更有价值。例如对于问题“谁是2024年诺贝尔物理学奖得主”在第一轮搜索后模型可能只确认了“得主是一位来自欧洲的物理学家”那么SSR中就应清晰地写下0) Current Answer - A physicist from Europe.同时这个面还要求记录“分析结论”Analysis Conclusions即那些从证据中逻辑推导出的中间判断。这些结论是未来推理的基石。例如如果模型从一篇新闻稿中读到“该得主的突破性工作发表于2018年”那么它就应该记录2) Analysis Conclusions - The laureates breakthrough work was published in 2018. [Supported by Evidence #1]这里的[Supported by Evidence #1]至关重要它建立了结论与证据之间的强链接确保了推理链条的可追溯性。我在实际调试时发现很多初学者会在这里犯一个致命错误写出空洞的结论如“这位物理学家很厉害”。这种结论毫无信息量也无法指导下一步行动。真正的结论必须是可验证、可操作的。3.2 “证据库与来源验证”面为探索构筑地基如果说“答案面”是航标那么“证据面”就是支撑航标的地基。它要求模型以一种近乎档案管理员的严谨态度记录下所有被发现的事实及其“出身”。论文中给出的格式[Source: tool/doc | URL/id | Verified: yes/no/partial]是一个黄金标准。让我用一个真实例子来说明其威力假设模型在第一轮中通过搜索工具找到了维基百科关于“2024年诺贝尔物理学奖”的词条并从中提取出“得主姓名John Smith”。那么SSR中应该这样记录1) Facts Evidence Collected - John Smith is the 2024 Nobel Prize in Physics laureate. [Source: Search | URL: https://en.wikipedia.org/wiki/2024_Nobel_Prize_in_Physics | Verified: partial]注意这里标记为Verified: partial因为维基百科是一个二级信源其信息需要进一步交叉验证。当模型在第二轮中通过访问工具Visit Tool打开了诺贝尔奖官网的新闻稿并确认了同样的名字时它就应该更新这条证据1) Facts Evidence Collected - John Smith is the 2024 Nobel Prize in Physics laureate. [Source: Visit | URL: https://www.nobelprize.org/prizes/physics/2024/press-release/ | Verified: yes]这个小小的yes意味着这条信息从此成为“已知真理”后续所有推理都可以放心地以此为前提。而partial和no的标记则像一个个醒目的路标时刻提醒模型“此处有坑需绕行或加固”。3.3 “不确定性与探索轨迹”面为探索开辟疆域这是SSR最具革命性的一面它将“未知”本身变成了一个可管理、可操作的对象。它包含两个核心子项不确定性Uncertainties和探索轨迹Exploration Trace。不确定性Uncertainties是模型认知边界的诚实告白。它不是笼统地说“我不知道”而是要精确地指出“我不知道什么”。例如4) Uncertainties, Limitations, Gaps - The specific nature of John Smiths breakthrough work (e.g., quantum computing, condensed matter physics) remains unknown. - The names of his co-laureates, if any, have not been identified.探索轨迹Exploration Trace则是对“未完成分支”的主动捕获。它要求模型回顾自己的整个推理过程找出那些被提出、被规划、但最终被放弃或遗漏的搜索方向。这才是Re-TRAC区别于其他摘要方法的灵魂所在。例如模型在第一轮的推理中可能写道“为了确认他的工作领域我需要查找他最近三年在《Nature》或《Science》上发表的论文。” 但如果它最终因为上下文限制没能执行这个计划那么SSR就必须明确记录5) Failed attempts - Plan to search for John Smiths recent publications in Nature/Science journals was abandoned due to context length limitation. 6) Uncompleted proposals - Potential lead: John Smith Nature 2023 and John Smith Science 2024 were surfaced in search results but not pursued.注意在实际部署中我强烈建议你为这个面设置一个“硬性规则”任何在本轮推理中被明确提出、但未被执行的搜索意图都必须无一例外地出现在SSR的“Failed attempts”或“Uncompleted proposals”中。这不是可选项而是Re-TRAC能否真正实现“跨轨迹反思”的生命线。我在测试一个30B模型时仅仅因为漏掉了一条“Uncompleted proposals”就导致它在后续三轮中都固执地在一个死胡同里打转直到我手动补上了那条记录它才豁然开朗转向了正确的方向。4. 递归执行从单次尝试到渐进式智慧的跃迁Re-TRAC的“递归”Recursive二字是其名称中最富哲学意味的部分。它并非指代某种复杂的数学递归函数而是描述了一种朴素而强大的工程实践让模型的每一次新尝试都成为对上一次尝试的继承、修正与超越。这彻底颠覆了传统“Best-of-N”范式中N次尝试彼此隔绝、互不通信的孤岛状态。要实现这一点关键在于两个环节状态注入State Injection与延续提示Continuation Prompt。4.1 状态注入让历史成为下一次行动的起点在标准的ReAct流程中每一次新的推理其输入input通常只有两样东西系统提示system prompt和用户原始问题user query。而在Re-TRAC中这个输入被扩展为三部分系统提示System Prompt定义模型的角色和基本能力。用户原始问题User Query任务的终极目标。上一轮的结构化状态表示Previous SSR这是最关键的增量信息。这个SSR被精心地放置在系统提示之后、用户问题之前的位置。它不是作为一段背景信息被“阅读”而是作为模型本次推理的初始上下文initial context被加载。这意味着模型在开始思考“我该如何回答这个问题”之前它的“大脑”里已经预先加载了上一轮的所有关键认知成果。它看到的不再是空白的画布而是一幅已经勾勒出轮廓、标注了重点、并用红笔圈出了待办事项的地图。这种注入方式带来了质的飞跃。在ReAct中模型的每一次“想一想”都是在一片混沌中重新摸索而在Re-TRAC中它的每一次“想一想”都是在一幅日益清晰的认知地图上进行战略规划。它不需要再花费宝贵的token去回忆“我们查到了什么”因为它一睁眼就看到了。它也不需要再凭空猜测“接下来该做什么”因为SSR的“Uncertainties”和“Uncompleted proposals”已经为它列好了待办清单。4.2 延续提示教会模型如何“善用”历史仅仅把SSR塞给模型是不够的。一个未经训练的模型很可能会陷入两种极端要么对SSR视而不见继续我行我素要么对SSR过度依赖把它当作不容置疑的“圣旨”从而丧失了自主探索的勇气。这就是为什么Re-TRAC框架中有一个至关重要的组件——延续提示Continuation Prompt它被设计成SSR之后的“紧邻指令”其作用是为模型提供一套关于“如何与SSR互动”的元指令。论文附录C.3.2中提供的Figure 11就是一个典范。它没有说“请参考上面的总结”而是用一种极具引导性的方式将SSR定位为一个“建议”suggested synthesis一个“可能包含幻觉的草稿”may contain hallucinations。它明确告诉模型三件事你可以质疑它“Identify and ignore any parts of the summary that seem illogical or poorly supported.”你可以抛弃它“If the summary’s quality is low or its direction feels like a dead-end, you have the full autonomy to completely disregard it…”你必须超越它“Use the [Uncertainties, Limitations, Gaps] section as a springboard to pivot to entirely different keyword clusters…”这个提示词的设计体现了微软团队对LLM能力边界的深刻理解。它没有幻想模型能天生具备完美的批判性思维而是通过精巧的指令工程将这种思维“外化”为一套可执行的、可被模型解析的规则。我在部署自己的Re-TRAC-4B模型时曾尝试过一个简化的版本结果模型表现得非常“教条”它会机械地执行SSR中列出的每一个“Uncompleted proposals”却忽略了那些更宏观、更需要直觉的“Pivot”机会。当我换回Figure 11的完整版后模型的探索策略立刻变得灵动起来它开始学会在“遵循”与“叛逆”之间寻找平衡点这正是一个成熟研究者应有的风范。4.3 效率奇迹为何Re-TRAC越“跑”越省一个直观的疑问是既然Re-TRAC要运行多轮默认8轮那它的总token消耗和工具调用次数岂不是远超单次ReAct答案恰恰相反Re-TRAC在提升性能的同时实现了资源消耗的显著下降。图5Figure 5中的数据给出了铁证在o3模型上Re-TRACRT8的性能69.8%远超多数投票MV8, 64.3%但其工具调用次数却只有多数投票的一半左右。这个奇迹的根源就在于“递归”二字所蕴含的收敛性convergence。在独立的多次尝试中每一次都是全新的、随机的探索其搜索空间是发散的、不可预测的。而在Re-TRAC的递归中每一次新的探索都是在上一次探索所划定的、更小的、更聚焦的“未知疆域”内进行。SSR中的“Evidence Base”让模型避免了重复劳动“Uncertainties”则像一个精准的探针将下一轮的算力全部集中刺向那个最脆弱、最需要被攻克的认知缺口。因此随着轮次的增加模型的行动越来越精准每一次工具调用都带着明确的目的而不是漫无目的的撒网。这就像一个经验丰富的猎人第一轮他可能需要在整片森林里拉网式搜索但当他发现了第一个脚印后后续的追踪就只需要沿着那条清晰的路径前进即可。Re-TRAC就是为LLM代理装上了这样一双能读懂“认知脚印”的眼睛。5. 小模型的逆袭如何用SFT将Re-TRAC的“灵魂”注入4B模型标题中“4B性能SOTA”的震撼之处不在于它是一个40亿参数的模型而在于它证明了Re-TRAC所代表的“递归反思”能力并非前沿大模型的专属天赋而是一种可以通过工程化手段被“蒸馏”并“移植”到小型模型上的通用智能。这背后的关键技术就是论文4.4节所描述的“面向Re-TRAC的监督微调”Re-TRAC-aware Supervised Fine-Tuning, SFT。5.1 数据蒸馏从“巨人”身上汲取“反思”的经验要教会一个4B的小模型如何进行Re-TRAC式的思考最直接的办法就是让它“看”一个强大模型如GLM-4.7是如何做的。但这不是简单地收集GLM-4.7的对话日志而是要构建一套专门用于训练“反思能力”的数据集。整个过程可以概括为“三步走”第一步构造高质量的“种子问题”。研究团队没有使用现成的问答数据集而是创造了一种名为“实体树”entity-tree的方法。他们从维基百科中抽取大量实体如“量子计算”、“锂离子电池”、“诺贝尔奖”作为树根然后递归地搜索与之相关的子实体如“量子计算”的子节点可能是“Shor算法”、“量子退火”最终形成一棵棵知识树。一个问题就是从树根到某个叶子节点的一条路径。这种方法生成的问题天然具有层次性和探索性完美契合深度研究的场景。第二步生成“反思轨迹”。用强大的GLM-4.7模型对这33K个问题运行完整的4轮Re-TRAC流程。每一轮模型都会生成一个完整的轨迹trajectory其中包含了所有的推理、工具调用、以及最重要的——由模型自己生成的、符合SSR规范的结构化状态表示。这一步本质上是在用“巨人”的大脑为“小个子”编写一本《如何思考》的教科书。第三步数据清洗与格式化。原始的4轮轨迹会被“展平”flattened为4个独立的训练样本。但并非所有样本都合格。团队设定了三条严苛的过滤规则样本中不能包含无效的工具调用如参数错误每个样本的交互轮数turn count不能少于15轮确保其复杂度足够样本必须包含一个有效的最终答案。经过这番“千锤百炼”132K个原始样本被精炼为104K个高质量的SFT训练数据。这些数据每一行都是一次“反思”的示范输入是上一轮的SSR 用户问题输出是模型在本轮中生成的完整轨迹包括新的SSR。这正是小模型学习“如何成为Re-TRAC代理”的全部教材。5.2 微调的艺术让4B模型学会“用状态思考”有了数据下一步就是训练。论文附录B的Table 7给出了关键的超参数。其中max length最大长度被设为65536这是一个非常激进的数字远超大多数4B模型的原生上下文窗口。这表明微调过程本身就是在强迫模型去学习如何在一个极其有限的“内存”里高效地承载和处理一个极其复杂的“认知状态”。我在复现这个过程时遇到了一个典型问题未经微调的Qwen3-4B-Instruct模型在面对SSR时表现得非常“懵”。它会把SSR当成一段普通的背景介绍然后开始自己的、与SSR完全脱节的推理。它的准确率RT8仅为2.7%几乎为零。这印证了论文中的观点小模型并不天生具备“条件化推理”conditioned reasoning的能力它需要被明确地教会如何将外部状态作为自身推理的基石。SFT的过程就是将这种能力“刻”进模型权重里的过程。训练完成后模型的行为发生了质变。它不再无视SSR而是会主动地、有意识地去解析SSR中的每一个字段当它看到Current Answer时它会以此为基准思考如何完善或修正它当它看到Facts Evidence Collected时它会将这些事实作为已知前提构建新的推理链条当它看到Uncertainties时它会立刻将这些问题列为本轮的最高优先级任务。这种转变不是模型“变聪明了”而是它的“认知接口”被重新校准了。它现在拥有了一个标准的、可预期的“输入槽位”SSR和一个标准的“输出协议”生成新的SSR。这使得它能够无缝地接入Re-TRAC的递归流水线成为一个可靠的、可预测的“齿轮”。5.3 实战心得小模型部署的“甜蜜点”与“雷区”将Re-TRAC-4B部署到生产环境是一场关于“性价比”的精妙平衡。我的经验是它并非万能但在特定场景下它能带来颠覆性的体验。甜蜜点Sweet Spot边缘计算与隐私敏感场景一个4B模型可以在一台配备32GB内存的普通服务器上流畅运行甚至能在高端的树莓派4BRaspberry Pi 4B上进行轻量级推理尽管速度较慢。这意味着你可以将一个强大的研究代理部署在本地、在内网、甚至在用户的个人设备上所有数据都不必离开本地完美满足GDPR等隐私法规的要求。高并发、低延迟的查询服务相比于动辄需要数百GB显存的358B模型4B模型的推理延迟极低且可以轻松支持数十甚至上百个并发请求。对于一个需要为大量用户提供实时搜索辅助的SaaS产品Re-TRAC-4B是一个极具成本效益的选择。雷区Landmine切勿期望它能替代大模型处理“终极难题”Re-TRAC-4B的30.0%准确率是建立在BrowseComp这个特定基准上的。如果你把它丢给一个需要海量世界知识、复杂逻辑推理的开放性问题它的表现会迅速滑落。它擅长的是“在已知框架内进行高效的、有指导的探索”而不是“从零开始构建一个全新的知识体系”。SSR的质量是它的“命门”一个小模型的SSR生成能力天然弱于大模型。论文Table 6的数据清楚地显示当Re-TRAC-4B使用自己作为“总结器”summarizer时准确率是30.0%但当它使用GLM-4.7作为外部总结器时准确率飙升至38.5%。这说明对于小模型而言SSR的生成质量是制约其上限的瓶颈。在实际部署中我建议采用一种混合策略对于关键的、高价值的查询可以调用一个云端的、更强的总结服务来生成SSR而对于常规查询则使用本地的4B模型自行生成以平衡成本与性能。提示Re-TRAC-4B的成功其意义远不止于一个模型。它向整个行业宣告AI智能的演进正从“堆参数”的蛮力时代迈入“精设计”的工程时代。未来的竞争将不再是“谁的GPU更多”而是“谁的框架更能释放模型的潜能”。