1. 从标题看核心问题为什么一个“技能”的训练成本远超其本身看到“微软 SkillOpt857 token 的 Skill为什么训练花了 2.1 亿 token”这个标题如果你在做大语言模型LLM应用、Agent 开发或者模型微调第一反应可能是困惑和好奇。一个只有 857 个 token大约几百个单词的“技能”训练它怎么会消耗 2.1 亿 token 的数据量这听起来效率极低甚至有点荒谬。这恰恰是理解现代 LLM 技能学习、特别是像 SkillOpt 这类优化方法的关键切入点。它不是一个简单的“文本生成”任务而是一个复杂的搜索与优化过程。857 token 是最终产出的、精炼过的“技能”描述或代码而 2.1 亿 token 是探索、评估、迭代这个技能所消耗的“计算燃料”。简单来说这就像你要写一首绝句28个字但为了找到最贴切的字词和意境你翻阅了整本《唐诗三百首》甚至更多典籍并进行了无数次的推敲和比较。SkillOpt 干的就是这个“推敲”的活儿只不过它用 LLM 作为“推敲引擎”在巨大的可能性空间里自动搜索和评估。所以这篇文章适合两类人看LLM Agent 开发者想知道如何让 Agent 更高效、更可靠地学会新技能而不是靠堆 prompt 或试错。对模型微调、强化学习、提示工程感兴趣的研究者或工程师想了解前沿的“优化训练”与传统的“监督训练”在成本和机制上有何根本不同。最关键的价值在于它揭示了一个核心思路让 LLM 学会做一件事一个技能最好的方法可能不是直接教它步骤而是为它设计一个可以自主探索和验证的“训练环境”让它自己找到最优解。下面我们就拆解这个过程看看 2.1 亿 token 到底花在了哪里以及我们能从中借鉴什么。2. 理解 SkillOpt它不是训练模型权重而是优化“技能描述”在深入之前必须先澄清一个关键概念否则很容易被“训练”这个词误导。2.1 传统微调 vs. SkillOpt 的优化传统微调Fine-tuning我们准备一批“输入-输出”配对数据比如“用户问题-标准回答”用这些数据去调整 LLM 内部的数十亿甚至万亿个模型参数权重。这个过程消耗的 token 就是这批训练数据本身。目标是改变模型的“通用知识”或“行为模式”。SkillOpt技能优化我们不改变基础 LLM 的任何参数。我们把一个“技能”定义为一个简短的文本描述或一段代码就是那 857 个 token。SkillOpt 的工作是自动地、反复地修改这个技能描述并调用 LLM 来评估每次修改后的技能效果最终找到一个效果最好的版本。那 2.1 亿 token主要消耗在 LLM 为评估无数个技能候选版本而进行的“思考”和“执行”上。可以把 LLM 看作一个拥有强大推理和执行能力的“员工”而“技能描述”就是发给这个员工的“工作说明书”。SkillOpt 不是一个培训师去重塑员工的大脑微调而是一个“流程优化专家”在不断重写和测试这份说明书直到找到能让员工表现最佳的那一版。2.2 核心流程拆解token 都花在哪了假设我们要让 LLM 学会“从一篇长文中提取核心论点并生成摘要”这个技能。一个原始的技能描述可能只有一句话“请总结以下文本的核心论点。”SkillOpt 的大致工作流如下这也是 2.1 亿 token 的消耗点初始化与生成候选技能基于初始描述SkillOpt 会利用 LLM 生成多个变体。例如变体 A“首先识别文本的段落结构然后提取每段主旨句最后串联成摘要。”变体 B“通读全文找出重复出现的关键名词和动词围绕它们组织摘要。”变体 C“以‘本文主要论证了……’开头总结作者的核心观点。”Token 消耗点调用 LLM 进行多次生成。每次生成都可能消耗数百至数千 token。评估候选技能这是最耗 token 的环节。对于每个候选技能描述都需要在一批评估任务上测试其效果。单次评估流程对于一个评估任务比如一篇给定的长文流程是 a.规划LLM 根据当前被测试的“技能描述”思考具体执行步骤。消耗 Token b.执行LLM 模拟或实际执行步骤如分析文本。消耗 Token c.产出生成摘要结果。消耗 Token d.评分调用另一个 LLM或使用规则对比生成的摘要与标准答案给出分数。消耗 Token批量评估一个技能候选需要在几十、上百个不同的评估任务不同文章上重复上述过程才能得到一个相对稳定的平均分。Token 消耗点(规划执行产出评分)的token数 × 评估任务数量 × 候选技能数量。这个乘法效应是 token 消耗暴涨的核心原因。优化与迭代根据评估分数SkillOpt 使用优化算法如进化算法、贝叶斯优化决定如何生成下一批更好的候选技能。然后回到第 1 步循环往复。Token 消耗点每一轮迭代都意味着新一轮的“生成-评估”循环。最终经过多轮迭代从海量候选可能成千上万个中胜出的那个最优技能描述就是那 857 个 token。而整个搜索评估过程中 LLM 所有环节的输入输出总和就是 2.1 亿 token。简单算笔账如果评估一个技能候选需要跑 100 个任务每个任务消耗 2000 token规划500执行1000产出300评分200那么一个候选就消耗 20 万 token。如果要搜索评估 1000 个候选那就是 2 亿 token。这还不算生成候选本身消耗的 token。3. 实战启示如何借鉴 SkillOpt 思想优化你的 LLM 应用理解了原理我们不必完全照搬 SkillOpt 的复杂框架但可以提取其核心思想来提升我们日常使用 LLM 或构建 Agent 的效率。3.1 从“一次性提示”到“可迭代的技能描述”很多人在设计 Agent 技能时习惯写一个很长的、包含各种细节和例子的 prompt提示词。这个方法的问题在于难以维护长 prompt 像一团乱麻改一处可能影响全局。效果不稳定对不同的输入效果波动大。无法优化你不知道是 prompt 里哪一部分在起作用。借鉴 SkillOpt尝试将你的复杂任务拆解成一个个独立的、简短的“技能描述”。每个描述只负责一个明确的子目标。例如不要写一个“处理客户投诉”的长 prompt而是拆成技能1情绪识别“判断用户输入中表达的主要情绪是愤怒、失望还是咨询。”技能2问题提取“从用户描述中提取具体的产品问题、订单号或时间点。”技能3方案生成“根据问题类型和公司政策生成1-3条解决方案选项。”这样做之后你可以像 SkillOpt 一样单独对每个小技能进行测试和优化。你可以手动构造一批测试用例分别评估“情绪识别”准不准、“问题提取”全不全。优化其中一个技能不会影响其他技能。3.2 建立你自己的“低成本评估循环”SkillOpt 耗 token 的核心在于用 LLM 评估 LLM。我们可以设计更便宜的评估方式。规则化评估对于能明确标准的部分用程序判断。比如“是否提取出了订单号”可以用正则表达式验证这比调用 LLM 评分便宜无数倍。关键点采样评估不需要对每个技能候选都跑完所有测试集。可以先在一个小型、高代表性的测试集比如10个样本上快速筛选淘汰明显差的候选只让表现好的进入全量评估。人类在环Human-in-the-loop在初期对于难以量化的输出质量如“摘要是否流畅”可以引入少量人工评分。用这些评分数据训练一个简单的质量预测模型如分类器用来近似替代后续的 LLM 评分。这本质上是将昂贵的 LLM 评估成本前置为一次性的、成本固定的人类标注。操作建议为你最重要的技能建立一个简单的评估脚本。输入是技能描述和测试用例输出是分数可以是自动规则分少量人工打分。当你修改技能描述时跑一下这个脚本看分数是升是降。这就是一个微型的、你能负担得起的 SkillOpt 循环。3.3 关注技能的组合与流程而非单一提示SkillOpt 优化的最终产物是一个“好用的技能”。但一个复杂的 Agent 任务往往是多个技能按特定流程组合起来的。因此比优化单个技能更重要的是设计技能之间的协作流程。流程即提示你可以把整个 Agent 的工作流程也文本化例如“先执行[技能1情绪识别]如果结果是‘愤怒’则执行[技能2安抚话术]再执行[技能3问题提取]否则直接执行[技能3]。”优化流程你可以像优化技能一样去优化这段“流程描述”。测试不同的决策分支、不同的技能执行顺序对最终结果的影响。这部分的搜索空间可能更大但带来的收益也更显著。4. 边界与避坑SkillOpt 思想落地时要注意什么将这种优化思想应用到实际项目中有几个关键的边界条件需要警惕。4.1 成本与收益的权衡不是所有技能都值得优化2.1 亿 token 的代价提醒我们自动化优化成本极高。在实践前一定要问这个技能的使用频率高吗一个每天只用几次的技能花大力气优化可能不值得。这个技能的稳定性要求高吗如果技能出错后果严重如法律、金融领域那么前期的优化投入就是必要的。有更简单的替代方案吗有时候一个精心设计的小样本Few-shot提示加上清晰的指令效果可能已经足够好无需引入复杂的优化循环。建议优先优化那些高频、核心、且当前效果明显不达标的技能。对于边缘技能采用标准化的 prompt 模板即可。4.2 评估标准的设计是成败关键“垃圾进垃圾出”Garbage in, garbage out在优化过程中体现得淋漓尽致。如果你的评估标准打分函数设计得不好优化就会跑偏。陷阱1过度优化单一指标。比如只追求“提取的信息点数量”可能导致技能输出一堆无关紧要的细节。好的评估标准应该是多维度的如准确性、完整性、简洁性。陷阱2评估数据有偏。如果你的测试集不能代表真实场景的分布优化出来的技能在线上就会失灵。陷阱3评估成本过高。如果用另一个大模型如 GPT-4来给技能输出评分那整个优化过程的成本和延迟会双高。避坑方法在启动任何自动化优化前投入足够时间手动设计并验证你的评估体系。用一批真实案例看看你设计的自动打分结果是否和你的主观判断基本一致。不一致的地方就是需要修改评估标准的地方。4.3 对“黑盒”优化过程保持监控SkillOpt 这类方法本质是黑盒搜索。它最终找到的“857 token 最优技能”可能包含一些让你意想不到的“捷径”或“诡计”。可能过拟合技能可能学会了利用测试数据中的某些特定模式来获得高分而非真正理解了任务。可能脆弱对输入格式的微小变化异常敏感。可解释性差你可能不明白为什么这个版本的描述就是比那个版本好。因此绝不能将优化出的技能直接部署到生产环境。必须将其视为一个“候选”经过更严格、更多样化的验收测试包括对抗测试、压力测试后才能上线。并且要保留回滚到上一个可解释、更稳定版本的能力。5. 总结从“训练模型”到“设计环境”的思维转变“857 token 的 Skill训练花了 2.1 亿 token”这个看似不划算的等式背后是 LLM 应用范式的一种深刻转变。它告诉我们对于拥有强大基础能力的大模型我们的工作重点可能正在从“如何训练它”改变其参数转向“如何设计环境让它更好地发挥”提供最优的指令和流程。对于一线开发者来说真正的 takeaways 是拆解任务把大而模糊的 Agent 需求拆成小而具体的技能单元。建立评估哪怕是最简单的规则脚本也要为你关心的技能建立可量化的评估手段。没有测量就无法优化。迭代思维将技能描述视为可迭代、可测试、可优化的代码而不是一次写定的魔法咒语。成本意识自动化优化是奢侈品精准用于刀刃上的技能。大部分时候清晰的结构和逻辑比盲目的搜索更有效。最终我们追求的不是复现一个消耗 2.1 亿 token 的庞大实验而是吸收其“将技能优化视为一个可管理的工程问题”的核心思想。从这个角度看那 2.1 亿 token 就不是浪费而是为找到那个真正高效的 857 token 所支付的、必要的“探索税”。
![[光学原理与应用-521]：对光的错误理解与纠偏](http://pic.xiahunao.cn/yaotu/[光学原理与应用-521]：对光的错误理解与纠偏)
