1. 问题背景为什么只看 Token 不够很多团队做 AI 成本优化第一反应是缩短 prompt减少上下文限制输出长度替换低价模型增加缓存降低调用频率这些动作有用但只能解决单次调用成本。企业 AI 进入生产环境后成本往往来自完整链路而不是单次模型请求。一个 RAG 问答可能包含问题改写权限判断知识检索召回重排上下文拼接模型生成引用校验答案追踪一个 Agent 任务可能包含计划拆解工具选择API 调用结果观察失败重试二次判断日志记录人工接管所以AI 成本治理要解决的不只是“Token 用了多少”还要解决为什么发生调用谁触发调用调用属于哪个业务流程调用了哪些模型、工具和知识库是否发生重复检索、重复生成或失败重试是否产生可衡量的业务结果2. 常见成本失控点成本失控点典型表现治理方向只看总账单只能看到模型总费用看不到业务归因按业务线、应用、功能、用户、任务拆分默认高配模型简单摘要、分类也走高成本模型建立任务分级和模型路由RAG 上下文过长召回过多低质量内容进入 prompt控制召回数量治理知识库质量Agent 链路失控多轮重试、工具循环、异常任务放大成本设置最大步数、重试上限、工具权限缺少预算闸门月底才发现账单异常设置日预算、月预算、异常预警成本不看结果只看花了多少钱不看是否产生价值建立业务价值指标3. 成本治理的“三张表”3.1 成本底账成本底账用于回答钱花在哪里。建议记录字段字段说明request_id请求唯一标识business_unit业务线app_nameAI 应用名称feature_name功能名称user_type用户类型task_type任务类型如摘要、问答、分类、生成、Agent 执行model_name模型名称input_tokens输入 Tokenoutput_tokens输出 Tokenlatency_ms响应耗时cache_hit是否命中缓存tool_called是否调用工具retry_count重试次数env环境测试 / 生产status调用结果状态没有成本底账就无法做后续归因和优化。3.2 价值账价值账用于回答钱花得值不值。不同场景建议关注不同指标场景价值指标客服问答自助解决率、人工介入减少、平均响应时间销售辅助线索跟进效率、摘要使用率、商机推进效率研发助手排障耗时、代码理解效率、重复问题减少知识库问答自助检索成功率、重复提问减少合规审计检查遗漏减少、审计流程耗时不要只看调用量。调用量高不等于价值高。3.3 控制表控制表用于回答怎么管住成本。建议包含控制点说明模型路由根据任务复杂度选择不同模型上下文治理控制召回数量、上下文长度和内容质量缓存复用对重复问题、标准答案、固定模板做缓存预算阈值按应用、团队、模型、用户、环境设置预算异常预警识别调用量突增、重试异常、高成本模型滥用复盘机制定期检查成本、效果、转化和用户反馈如果你正在推进 AI 功能上线可以先把以上三张表作为评审材料的一部分避免上线后才补成本治理。4. 落地步骤Step 1建立最小可用成本底账先不要急着换模型或压缩 prompt先记录基础字段请求来源业务线应用名称功能名称用户类型模型名称输入输出 Token响应时延是否命中缓存是否触发工具调用是否发生重试调用结果状态Step 2做任务分级任务等级场景示例成本策略低风险低价值格式整理、简单分类、普通摘要优先轻量模型、缓存、批处理中风险中价值知识库问答、销售辅助、客服建议动态路由设置预算阈值高风险高价值合规判断、关键客户建议、管理层决策辅助高能力模型 审计 人工复核最小可落地版本先接入 7 个字段如果短期内无法建设完整成本治理平台可以先从最小版本开始。建议至少接入 7 个字段字段用途request_id串联一次 AI 调用链路business_unit判断成本归属到哪个业务线feature_name判断哪个功能在消耗成本task_type区分摘要、问答、分类、Agent 执行等任务model_name判断不同模型的成本与效果retry_count识别 Agent 或工具调用异常重试env区分测试环境和生产环境避免成本混淆这 7 个字段不一定能解决全部问题但足够帮助团队从“月底看总账单”进入“按业务和链路看成本”的阶段。Step 3建立模型路由常见策略简单任务先走轻量模型复杂任务再升级高能力模型高风险任务触发人工复核重复问题优先命中缓存长上下文任务先压缩再生成批量任务进入异步队列并设置预算上限Step 4给 RAG 和 Agent 设置边界RAG 建议检查召回数量是否过大上下文是否过长知识库是否存在低质量内容引用是否可追踪是否可以缓存高频问答Agent 建议检查是否设置最大步数是否设置最大重试次数是否限制工具调用权限是否定义异常中断条件是否支持人工接管是否记录 trace logStep 5把成本闸门放进上线流程上线前建议检查是否明确成本负责人是否设置日预算和月预算是否区分测试环境和生产环境额度是否配置异常调用预警是否设置单用户、单功能、单模型调用阈值是否定义超预算后的降级策略是否建立成本复盘节奏5. 示例场景一家 B2B 软件公司上线了三个 AI 功能功能初始问题治理动作客服知识库问答调用量最高大量问题重复做缓存和知识库召回优化销售线索摘要单次成本较高但和跟进效率相关保留高质量模型仅对重点客户触发内部文档助手使用频繁多数是普通摘要和格式整理默认轻量模型复杂任务再升级同时团队发现测试环境批量调试任务没有预算上限。某个 Agent 工具失败后反复重试。RAG 召回内容过多部分上下文质量不高。对应处理测试环境单独设置预算。Agent 增加最大步数和重试上限。RAG 调整召回数量和知识库质量。高频问答命中缓存。关键场景保留高质量模型。6. FAQQ1AI 成本治理是不是就是换便宜模型不是。换便宜模型只是其中一个手段。真正的成本治理要包含成本归因、任务分级、模型路由、预算阈值、异常预警和业务价值复盘。Q2所有任务都应该降级到低价模型吗不建议。低风险低价值任务可以优先轻量模型高风险高价值任务仍然需要高能力模型、审计和人工复核。Q3RAG 成本主要看 Token 吗不只看 Token。还要看知识库质量、召回数量、上下文长度、引用追踪、缓存命中和答案可靠性。Q4Agent 成本为什么容易失控因为 Agent 可能产生多轮计划、执行、观察、修正和重试。如果没有最大步数、重试上限、工具权限和人工接管机制成本可能被少量异常任务放大。Q5上线前最应该检查什么至少检查成本负责人、预算阈值、模型路由、RAG/Agent 边界、异常预警、测试环境额度和复盘机制。Q6如何从日志里识别 Agent 成本异常可以优先看四类信号retry_count是否明显高于同类任务。单个request_id下是否出现过多工具调用。某个工具的失败率是否持续升高。单任务成本是否超过预算阈值或同类任务均值。如果这些信号集中出现通常说明 Agent 链路需要设置最大步数、重试上限、工具权限或人工接管条件。7. 小结AI 成本治理不是让 AI 少做事而是让 AI 做值得做的事。如果你们正在上线 RAG、Agent、多模型调用、企业知识库或智能客服建议先用《企业 AI 成本治理自查 Checklist》做一次上线前检查。这份 Checklist 可以覆盖成本归因表任务分级表模型路由检查项RAG / Agent 成本控制项预算阈值与异常预警项上线前成本闸门检查项它适合放进 AI 功能上线评审、技术方案评审、成本复盘会和管理层汇报中帮助团队判断这笔 AI 成本是否可见、可控、可解释并且值得继续投入。