AI Agent 评测指南下从指标设计到准出标准四、开源评测框架与方法论不要从零造轮子。业界已有成熟的评测框架和 Benchmark根据你的 Agent 场景选型即可。4.1 Agent 通用评测框架框架定位适合场景核心能力LangSmithLLM 应用全生命周期平台强Trace 追踪、数据集管理、在线评测、人工标注、A/B 对比BraintrustAI 产品评测平台强数据集管理、自定义 Judge、实验对比、集成 CI/CDDeepEval开源 LLM 评测框架中丰富的内置指标Faithfulness/Relevancy/Toxicity等、批量评测、CI 集成PromptfooPrompt 测试与红队中Prompt 对比测评、安全红队测试、多模型对比、断言式验证RagasRAG 系统评测Agent RAG 环节RAG 专属指标Context Precision/Recall、Faithfulness、合成测试数据生成Arize PhoenixLLM 可观测性评测强Trace 可视化、检索增强评测、线上监控告警4.2 Agent 专属 BenchmarkSWE-bench软件工程 Agent 评测任务从 GitHub issue 出发Agent 自动修 bug / 加功能评测方式运行测试用例看 Agent 生成的 patch 是否通过指标resolve rate问题解决率难度高需要理解代码库 生成正确补丁代表模型得分Devin 13.86%, SWE-Agent 12.47%ToolBench工具使用能力评测任务涵盖 16K 真实 API 的工具调用场景评测方式检查工具选择 参数正确性指标工具选择准确率、参数准确率、端到端成功率亮点覆盖单工具、多工具、工具链组合等难度分层AgentBench通用 Agent 评测任务8 个交互环境操作系统、数据库、知识图谱、Web等评测方式Agent 在模拟环境中自主操作并完成任务指标任务完成率特点端到端、多环境、强调自主性WebArenaWeb Agent 评测任务在真实 Web 环境中完成操作购物、协作、内容管理评测方式Agent 操作浏览器评测结果是否符合预期指标任务成功率适用有 Web 操作需求的 Agentτ-bench工具使用 推理任务需要推理 工具调用的组合任务评测方式检查 Agent 是否通过正确的推理链完成任务指标推理链正确率、工具调用准确率GAIA通用 AI 助手评测任务需要推理、多模态、工具使用的复杂问题评测方式答案精确匹配避免 LLM-Judge 的主观性特点Agent 必须答对而非答得好4.3 主流评测方法论方法论 1LLM-as-JudgeLMSYS 范式来源LMSYS 团队Chatbot Arena 背后团队核心思想用 GPT-4 等强模型作为裁判评估其他模型的输出关键实践位置偏差修正交换 AB 位置各评一次多 Judge 一致性至少 2 个 Judge 交叉验证Judge 和人工评测的校准定期抽检确保 Judge 质量不退化资源MT-Bench、Chatbot Arena 数据集公开可用方法论 2Arena 式众包评测来源Chatbot Arena核心思想让真实用户在盲测中选择哪个回答更好用 Elo 评分排名优点真实用户偏好、大规模、持续更新局限只反映偏好不反映能力、受用户画像影响适用需要用户喜欢哪个而非哪个能力更强的场景方法论 3G-EvalChain-of-Thought 评测来源G-Eval: NLG Evaluation using GPT-4 with Better Human Alignment核心思想让 LLM Judge 先写出评测步骤CoT再打分优点和人工评测的相关性显著提升超过直接打分 10-15%示例Judge 先分析 → 这个回答需要检查1. 事实准确性 2. 完整性 3. 格式然后再给出 1-5 分每分有明确锚点适用需要高分辨力的评测场景方法论 4Eval-as-Service来源各大 AI 平台OpenAI Evals、Anthropic Eval Tool核心思想将评测作为 CI/CD 流程的一部分实践方式每个 PR 自动跑评测评测结果作为 merge 的 blocking check长期追踪指标趋势工具LangSmith CI、DeepEval CI、Promptfoo CI方法论 5分层阶梯式评测Google/DeepMind 实践来源Gemini、PaLM 团队的评测实践核心思想评测按难度分层 ——Level 1: 基础能力单轮问答、翻译、摘要→ 自动化指标Level 2: 推理能力多步推理、代码生成→ LLM-JudgeLevel 3: Agent 能力工具使用、规划、自主执行→ 端到端任务Level 4: 安全与对齐红队测试、偏见检测→ 专项评测优点评测成本和风险匹配最低层可全自动化4.4 评测工具链搭建示例推荐的 Agent 评测工具链最小可用方案数据管理JSON/YAML 文件 → LangSmith 数据集或自建 Git 仓库自动化评测DeepEval指标库 Promptfoo对比测试LLM-JudgeGPT-4o / Claude Opus作为裁判模型人工评测LangSmith 标注平台或 Google Sheets 脚本CI 集成GitHub Actions 触发评测结果看板LangSmith Dashboard / Grafana 自建数据库一周内可搭建的 MVPDay 1-2搭建评测数据集50 个核心 Agent 任务标注预期结果Day 3接入 DeepEval 自定义 Agent 指标Day 4配置 LLM-as-Judge Pipeline含 G-Eval CoT 打分Day 5接入 CI每次 Prompt 变更自动跑评测后续逐步补充测试集目标 500 任务加入人工评测五、分级准出标准5.1 按变更风险分级L1 变更低风险范围SKILL 内容修改、Prompt 措辞调整、单个工具配置变更必须过单工具任务集回归200条成功率不下降LLM-as-Judge 结果评判100条多工具任务得分不下降准出两项均不劣化L2 变更中风险范围模型版本升级、新增/移除工具、Agent 系统 Prompt 变更必须过L1 全部评测多工具链任务集100条成功率 ≥ 基线工具选择准确率 ≥ 85%死循环率 0%零容忍安全评测危险操作率 0%幻觉率 ≤ 3%准出核心指标无劣化 安全全通过L3 变更高风险范围Agent 框架升级、模型全量切换、SubAgent 策略变更必须过L2 全部评测对抗/边界任务集50条错误恢复率 ≥ 60%3人以上人工评测50条多工具链任务Cohens Kappa ≥ 0.6灰度上线5%→20%→50%→100%每个阶段观察≥1天线上费用对比不劣化超30%准出全部通过 至少1个核心维度显著提升5.2 准出决策流程确定变更风险等级L1/L2/L3运行对应级别的评测套件检查所有必须通过项是否达标如有未通过项 → 修复后重跑全部通过 → 按风险等级决定是否灰度灰度期间持续监控线上指标灰度通过 → 全量发布六、Agent 评测的持续运营评测不是一次性工作而是持续运营1. 评测集定期更新每月从线上真实 Agent 执行日志中抽样新的任务补充新发现的 badcase淘汰已过时的任务Agent 已经 100% 通过的2. 建立评测墙Evaluation Wall每个 PR / 每次 Prompt 变更 → 自动触发 L1 评测每次模型升级 → 自动触发 L1L2 评测每个版本发布前 → 触发全量 L3 评测结果可视化趋势图、劣化告警3. 异常监控任务成功率突然下降 10% → 告警死循环率 0 → 告警工具选择准确率下降 5% → 告警幻觉率上升 50% → 告警4. 月度评测报告各项指标趋势新增 top badcase 分析和上月的对比七、总结Agent 评测的核心原则1. 任务完成度是北极星指标不管 Agent 多聪明、工具用得多好最终只看事有没有办成。2. 评测集必须覆盖端到端任务链不能只用回答得好不好来评测 Agent。需要完整的工具调用链、SubAgent 协作、错误恢复场景。3. 死循环和幻觉是 Agent 的红线这两项指标不能有任何妥协。死循环率必须为 0%幻觉率必须持续压低。4. 按风险投入评测资源Prompt 微调不用跑全套模型升级必须跑全套。评测成本要小于变更风险带来的损失。5. LLM-as-Judge 是 Agent 评测的最佳方式路径多样性让规则匹配失效只有 LLM Judge 能理解不同路径都可能是对的。