168、模型评估与部署：ROUGE、BLEU、LLM-as-Judge、模型合并与推理服务上线上周帮一个做智能客服的团队排查线上问题，用户反馈“机器人回答越来越敷衍了”。我一看，ROUGE-L分数从0.72掉到了0.68，BLEU倒是没怎么变。团队负责人说“指标没崩啊”，但用户满意度确实在降。这就是典型的“指标和体验脱节”——你盯着BLEU看，它告诉你一切正常，但真实用户已经骂街了。今天这篇笔记，我把模型评估和部署这条线串起来讲。从最基础的ROUGE、BLEU，到更贴近人类判断的LLM-as-Judge，再到模型合并和推理服务上线的实战坑。全是自己踩过的，不废话。ROUGE：别只看召回，要盯着F1ROUGE（Recall-Oriented Understudy for Gisting Evaluation）最早是为摘要任务设计的。核心思想是看生成文本和参考文本之间的n-gram重叠。ROUGE-N算n-gram，ROUGE-L算最长公共子序列。fromrougeimportRougedefcompute_rouge