LTEB框架实证篇 #8一、1800次API调用三个结论可能会推翻你的认知1800次API调用3个模型3个数据集60道题每道题独立跑10次。总费用不到一杯咖啡钱。但跑出的三个结论可能会推翻你对哪个模型更高效的全部认知。这不是理论推演。所有数据来自真实API返回值没有模拟没有插值没有假设。这篇文章是我们提出的LTEB框架的首次工程验证。从理论篇定义ECET概念到实践篇给出12个模块的操作手册中间隔了整整七篇文章。现在我们终于把框架喂进了真实的API——看看它到底能不能跑通能不能区分模型能不能给出有意义的诊断。先说清楚定位这不是模型排行榜。3个模型、60题、单温度配置样本量不够做精准排名我们也不打算做。预实验的任务是验证方法论——LTEB框架在实际运行中是否可行ECET指标是否有效统计方法是否合理。如果你刚读完实践篇应该记得结尾那句话知道一百个公式不如跑通一次基线。这一篇就是那条基线。二、实验设计——我们怎么测的三个模型各有特点。deepseek-v4-flash的推理模型输出中包含reasoningtokens内部推理链这是它和其他两个模型最大的区别。moonshot-v1-128k是通用模型128K上下文窗口kimi官方提供的可调temperature版本。glm-5.2是通用模型智谱清言提供。三个数据集覆盖不同能力维度。GSM8K测数学推理20道小学数学应用题答案匹配数值。HumanEval测代码生成20道Python函数实现单元测试通过才算对。MMLU测知识问答20道多学科选择题选项匹配评判。配置全部统一temperature固定0.7输出上限4096tokens随机种子seed24系统提示统一为极简的你是一个AI助手。每道题独立调用10次合计60题×10迭代×3模型1800次API调用。统计方法严格对齐LTEB框架。主分析用题级平均ECET估计量BCaBootstrapB2000seed24计算95%置信区间配对Bootstrap检验做模型间差异比较Holm-Bonferroni校正多重比较Cohensd和Cliffsdelta双轨报告效应量。本文主报告题级平均ECET聚合比率ECET作为参考口径——两者的差异通过H_ECET异质性指数量化用于诊断幸存者偏差程度。60题这个样本量不是拍脑袋定的。实验前做过功效分析60题配对设计对20%以上的ECET差异具有90%以上的统计功效典型CV约0.4。但对于10-20%的中等差异检测效力不足——这一点后面会反复出现是本文最重要的方法论警示之一。三、三句话看懂全局结果先看三个模型的总体画像。单刀直入三个数字定调。glm-5.2花最少Token把事做对。ECET 307.5 tokens合格率96.8%CR 60/60。BCa 95%置信区间[229.3,688.8]区间最宽反映题目间异质性最大——但需注意上界688.8因极端偏度偏度5.19下Jackknife加速因子估计不稳定独立复算得到的上界约578.8差异约110 tokens。这不影响CI下界229.3和点估计307.5的可靠性解读时建议以下界和点估计为主CI宽度作为异质性程度的定性参考。glm在某些题上输出极短在某些题上输出极长。H_ECET为16.6%属于高度异质≥15%说明不同题目上的效率表现差异极大单点ECET的参考价值有限需结合分题型分析——在跨题型场景下这个排名需要分题型重新审视。总体而言它是三个模型中花最少Token把事情做对的那个。ECET_m仅86.1¥/万有效试次货币效率居中。deepseek-v4-flash不惜代价追求完美。ECET 605.0 tokens合格率98.2%CR 60/60。准确率最高全部60道题都能搞定但Token消耗是glm的近2倍。BCa 95%CI[507.0,753.2]。TPC单题尝试成本569.9 tokens——每尝试一道题不管做没做对平均要花这么多Token。ECET/TPC比为1.06几乎无浪费因为p极高。H_ECET为4.0%题目间同质——推理链的Token消耗模式相对稳定。它的分布右偏严重少数题目消耗了极大量的推理链Token。ECET_m仅12.1¥/万有效试次货币效率最优——Token效率最差、但花钱最少这是LTEB框架最反直觉的发现之一。moonshot-v1-128k表面省钱账单藏着隐藏费用。ECET 375.8 tokens合格率73.3%CR 52/6086.7%。ECET看起来不错介于glm和deepseek之间。但合格率是三个模型中最低的。BCa 95%CI[298.1,548.7]区间相对较窄——但这恰恰是幸存者偏差的统计表现8道CR0完全做不出来的题被排除在ECET计算外让ECET看起来比实际更乐观。TPC为253.7tokensECET/TPC比高达1.48超过LTEB框架1.3的幸存者偏差警戒线——意味着每花1个Token尝试只有约68%的Token在为成功做贡献。H_ECET为7.9%中等异质。ECET_m高达225.5¥/万有效试次是deepseek的18.6倍——Token效率看起来不错但每获得一次有效试次花的钱反而是最贵的。统计显著性方面三个模型对的检验结果deepseek vs glm差异极其显著p0.0001两个效应量数值差异巨大——Cohensd0.501中等Cliffs delta0.933极大。这不是矛盾而是ECET分布右偏严重的结果参数化的Cohensd被高变异性稀释非参数的Cliffsdelta更能反映题级比较的真实优势比例。换算成大白话就是随机抽一道题glm的ECET低于deepseek的概率是96.7%几乎是十拿九稳。moonshot vs glm差异显著Holm校正后p0.0250Cliffs delta0.538。deepseek vs moonshot差异不显著p0.1775但Cliffs delta 0.577——中等效应量——这个不显著是样本量不足的结果不是两个模型效率相同。三个数字勾勒出三种画像glm像精打细算的实用主义者deepseek像不惜代价追求完美的学霸moonshot像一个表面省钱的选项——但账单上藏着隐藏费用。三种效率哲学没有对错只有适不适合你的场景。四、反直觉一推理链是双刃剑先看学霸的烦恼——deepseek的推理链到底是武器还是包袱deepseek-v4-flash是三个模型中唯一含推理链的。它的reasoning tokens均值390.6visible tokens仅68.4input tokens 110.9。换算一下deepseek每输出100个Token只有15个是你能看到的答案剩下85个是它自己在脑子里转的思考过程。推理链占总Token消耗的68.5%占输出Token的85.1%。推理链确实带来了好处。合格率98.2%三个模型中最高。失败浪费率仅2.1%几乎不需要重试——做100次调用只有约2次失败。在MMLU知识问答上甚至达到100%正确率。在GSM8K数学推理上deepseek和glm的准确率持平99.5%两者都接近天花板推理链是否带来额外增益在本实验中无法判断——需要更难的题目才能检验。但代价也实实在在。ECET是glm的2倍。在HumanEval代码生成上ECET高达946.1是glm363.7的2.6倍。推理链在代码生成上的效率增益极其有限——deepseek的合格率95.0%甚至略低于glm的96.0%。但推理链一样在跑Token一样在烧。一个思想实验如果剥离推理链只看非推理链Tokeninputvisibleoutputdeepseek的ECET约127tokens——比glm的307.5还低。这个数字是按题级重新计算非推理链ECET得出的不是简单地按68.5%比例从605扣除因为成功题和失败题的推理链占比不同分布也不同。但这毫无意义因为没有推理链的deepseek不是同一个模型。推理链是它能力不可分割的一部分你没法只买结果不买过程。你买的不是答案是思考过程。85%的Token你看不到但它们是高准确率的重要支撑。如果你只需要简单问答可能不需要为思考税买单。但如果你处理的是复杂推理任务那85%可能是你买到的保险。注意以上结论基于deepseek-v4-flash单个推理模型推理链效应和模型架构效应无法完全分离。更多推理模型加入后结论可能需要修正。五、反直觉二ECET低不等于值得用再看那个表面省钱的选项——moonshot的ECET陷阱藏在账单的数字背后。这是三个反直觉真相中最容易被忽视的一个也是最危险的认知陷阱。moonshot-v1-128k的ECET是375.8看起来比deepseek605.0低很多接近glm307.5。乍一看性价比不错。但看合格率——73.3%。这意味着26.7%的试次失败了。失败浪费率W_f高达30.8%失败浪费比R_fs为0.444接近0.5的警戒线——近三分之一的Token打了水漂。成败路径分解揭示了真相。moonshot成功时的平均Token消耗确实很低仅239.5tokens。但失败时的Token消耗是292.8而且(1-p)/p的失败成功比高达0.364——每成功1次就有约0.36次失败。失败路径贡献了106.5tokens到总ECET中占30.8%。更关键的是CR可解率——60道题中moonshot有8道完全做不对CR52/6086.7%10次迭代全部失败零产出。这8道题不是偶尔做错而是根本不会做。根据LTEB框架的三点谱系FSR测一次出手成不成功CR测K次能不能搞定p测每次多大概率。moonshot的FSR不足60%p仅73.3%CR还丢了8道题——三个指标从不同角度指向同一个结论它的基础能力有硬伤效率再高也是空中楼阁。从部署视角看moonshot的TPC单题尝试成本为253.7ECET/TPC比高达1.48超过LTEB框架1.3的幸存者偏差警戒线。作为对比deepseek的ECET/TPC比仅1.06几乎无浪费glm为1.24少量浪费。这个比值越接近1说明失败浪费越少超过1.3就需要警惕账面ECET好看但实际部署成本高的陷阱。实际部署成本远不止Token账单。你要为26.7%的失败率支付重试成本、用户等待时间、以及这个模型怎么又错了的信任成本。ECET是效率指标不是总拥有成本。一个ECET375但合格率73%、CR87%、ECET/TPC比1.48的模型和一个ECET605但合格率98%、CR100%、ECET/TPC比1.06的模型哪个更适合你的场景取决于你的用户对失败的容忍度。便宜的模型往往最贵——因为你要为失败反复买单。ECET不能只看数字必须结合p、CR、W_f、R_fs和ECET/TPC比一起看。LTEB框架之所以设计了八维概念体系就是因为单一指标永远不够。六、反直觉三统计显著不等于实际有意义这个反直觉真相有两个方向各自指向不同的方法论陷阱。方向一显著的不一定大。deepseek vs glm的差异极其显著p0.0001均值差297.5tokensCohensd0.501中等效应量Cliffsdelta0.933极大效应量96.7%的题目上glm的ECET更低。这确实是一个有实际意义的差异——每道题平均节省约298tokens。按此比例推算1000题规模下总节省约298Ktokens。显著性和效应量一致结论稳固。方向二不显著的不等于没差异。先记住一句话不显著不等于没差异等于你的样本量不够大看不出来。deepseek vs moonshot的p值是0.1775不显著。但Cliffsdelta是0.577中等效应量78.8%的题目上deepseek的ECET更高。均值差94tokens95%置信区间跨越零点[-86.7,204.7]。这不是两个模型效率相同的证据而是60题样本量不够的证据。反过来算基于本实验的CV水平约0.5-0.860题配对设计只能可靠检出20%以上的ECET差异。如果真实差异是15%本次实验只有约55-60%的概率能检出——相当于抛硬币决定显著还是不显著。如果样本量扩大到100题同样的差异水平检出概率能提升到约80%。这是典型的二类错误风险——真差异存在但样本量不够没能显著。很多人在看到不显著时条件反射地认为没差异这是统计推断中最常见的误用之一。看p值前先看MDE——也就是你当前样本量下真正存在的差异至少要多大才有90%的概率被你检测出来。如果你的样本量只能检出20%以上的差异那么不显著只意味着差异小于20%不等于没差异。在模型选型场景中15%的效率差异足以影响成本决策。七、分题型深挖——没有全能最优看完三个模型在全局和具体现象上的表现接下来把镜头拉近——同一道题不同模型的效率表现天差地别。三个数据集的效率特征完全不同不能用一个排名概括。GSM8K数学推理glm和deepseek准确率持平99.5%但glm的ECET仅250.5不到deepseek485.7的一半。做数学题glm用更少的Token达到了相同的准确率。glm的TokenCV仅0.231输出稳定。moonshot的合格率87.5%在这个题型上明显落后但ECET338.7不算太高——问题出在合格率不是Token消耗。HumanEval代码生成区分度最大的数据集。deepseek的ECET高达946.1是glm363.7的2.6倍。尽管合格率相当95.0%vs96.0%推理链在代码生成上的效率增益极其有限。moonshot在这个题型上更惨——合格率仅63.5%超过三分之一的代码通不过单元测试。但它的ECET只有317.4三个模型中最低。注意这个最低有水分成功时输出精炼是主因但moonshot在HumanEval上有若干题CR0完全做不出来这些题消耗了Token却因p0被排除在ECET计算之外。如果把失败的题也算进去真实的等效成本会高得多。MMLU知识问答deepseek表现最佳合格率100%ECET为383.2。当合格率100%时ECET等于平均Token消耗两者一致。glm的ECET更低308.3但合格率略低95.0%。moonshot的合格率仅69.0%——四选一随机基线是25%这个成绩对一个知识问答模型来说不理想且MMLU上moonshot的TokenCV高达0.937输出极不稳定。三个题型三个最优模型。GSM8K选glmHumanEval在效率和准确率之间权衡glm合格率高但ECET稍高moonshotECET低但合格率差MMLU选deepseek或glm。没有模型在所有题型上全面领先。选模型要看场景不存在开箱即用的全能最优解。数学推理和知识问答对推理链的受益程度不同代码生成场景推理链的性价比可能不如你想象。八、方法论验证——LTEB框架到底行不行看完三个模型在具体题型上的表现你可能会问LTEB这个框架本身靠不靠谱下面回到预实验的核心目标——方法论验证。我们设了五个验证维度逐一对照。工程可行性通过。从批量API调用、答案评判到统计分析完整流水线畅通无阻塞性问题。1800次API调用全部成功返回无接口报错数据采集无遗漏。核心指标ECET有效性通过。ECET有效区分了三个模型的效率特征。glm307.5、moonshot375.8、deepseek605.0——三个数字清晰排名有意义。本次预实验验证了核心指标ECET的区分度与可解释性其余维度CST、RBS、ID的有效性留待正式实验验证。另外本次实验覆盖了ECET、p、FSR、CR、TPC等指标成败路径分解提供了可操作的诊断信息。框架中的双口径ECET规范题级平均vs聚合比率和H_ECET异质性指数已在本实验中初步验证了诊断价值。统计方法适当性通过。BCa Bootstrap CI宽度合理配对检验有效控制了题目间变异效应量双轨报告CohensdCliffs delta分别从标准差单位和概率优势两个角度衡量差异大小结论更稳健。ECET分布右偏严重的场景下非参数的Cliffs delta比参数化的Cohensd更能反映真实优势比例。数据采集完整性通过。三级ECETToken、字符、字节数据完整reasoning_tokens字段记录了推理链消耗分题型分解数据齐全。正文以Token级ECET为主这也是大多数API计费的基本单位字符/字节级数据主要用于跨Tokenizer比较和敏感性分析。跨模型比较通过。配对设计成功消除了题目异质性的干扰三个模型在相同题目上的比较具有统计有效性。两个未完成项三重验证的Fieller/Delta方法本次未执行——预实验阶段优先验证主路径完整验证留待正式实验补充。这些不影响框架本身的核心验证结论。框架本身的表现超出预期。ECET不是一个看上去好看的指标——它在真实数据中表现出了区分度、诊断力和可解释性。从概念到工程LTEB迈出了最关键的一步。一个值得注意的方法论验证案例glm的H_ECET高达16.6%高度异质说明同一个指标在不同题目上的计算稳定性差异巨大。glm的ECET虽然最低但点估计的可靠性因题目间波动大而打折扣——这恰恰是LTEB框架自我诊断能力的体现不是给一个数就完事而是告诉你这个数多可靠、在什么条件下需要拆开看。九、给你的行动建议基于1800次API调用的真实数据六条建议——每条都来自本次实测的独特发现。第一推理链的性价比要分场景判断。不是所有任务都值得为推理链付费。数学推理和知识问答上推理链能带来准确率增益但代码生成上性价比极低——deepseek的代码ECET是glm的2.6倍合格率还略低。按场景评估不要一刀切。第二Token效率不等于货币效率。ECET_m货币投影揭示的反直觉发现deepseek的ECET最高605.0但ECET_m仅12.1¥/万有效试次输出¥2/百万tokens是三个模型中最低的moonshot的ECET只有375.8但ECET_m高达225.5输出¥60/百万tokens是deepseek的18.6倍。glm居中86.1输出¥28/百万tokens。定价策略的差异deepseek2vsmoonshot6030倍远超Token效率的差异1.6倍。Token效率选glm货币效率选deepseek——取决于你的约束是Token预算还是现金预算。注意ECET_m是ECET在货币空间的投影c_token为外部定价参数非LTEB框架定义的效率维度且为时间敏感快照随API定价调整而变化。第三别只看ECETp、CR、W_f、R_fs和ECET/TPC比必须一起看。moonshot的教训ECET375.8看着不错但30.8%的失败浪费率W_f、0.444的失败浪费比R_fs接近0.5警戒线、73.3%的合格率、CR仅52/6013.3%的题完全做不出来、ECET/TPC比高达1.48超过1.3警戒线让实际成本远高于表面数字。如果你部署moonshot到生产环境每4次请求就有1次失败——用户能接受吗一个实用技巧如果只关心实际跑一批题要花多少钱看TPC总Token/总题数比看ECET更直观。ECET/TPC比超过1.3时说明幸存者偏差已经影响了效率判断。第四注意统计显著性的陷阱。60题只能检出20%以上的差异。如果你的场景关注的是10-15%的效率差异需要100题以上的样本量。对于不显著的结果永远问一句是没差异还是样本量不够基于预实验的CV估计0.5-0.8100题可将15%差异的检测功效从约55%提升至约80%。第五失败模式决定优化方向。用LTEB诊断框架判断你的模型是成功时太贵如deepseekμs568.3R_fs仅0.022优化方向精简推理链、失败太多如moonshotp73.3%R_fs0.444优化方向提升基础能力、还是失败时太贵如glmμ_f/μs3.04失败时输出是成功时的3倍优化方向失败时earlystopping三种模式三种策略不要用同一种药方治不同病。glm失败样本量较小约19次该比值估计的稳定性有限正式实验中需进一步验证。第六怎么用LTEB框架给自己的模型做体检。回顾我们的LLM效率优化的完整手册按场景选样本量20题快速摸底60题可靠检出20%以上的差异100题以上正式选型固定temperature和seed跑10次迭代算ECETpCRW_fR_fsTPCECET/TPC比。然后对照诊断ECET高但p也高→精简输出p低→先提升基础能力再谈效率W_f20%→失败浪费是最大成本黑洞ECET/TPC比1.3→幸存者偏差预警需检查CR十、这只是开始重申边界本预实验仅3个模型、60题、单温度配置。不做权威排名不做跨生态比较不做多因子实验。所有结论应在方法论验证的框架下理解。正式实验将扩展更多模型含GPT-4、Claude等国际主流模型、更大样本100-120题、更多题型含主观题如写作、翻译、摘要、多温度配置0.1/0.3/0.5/0.7/0.9、完整的Fieller/Delta三重验证和N扫描分析。所有数据和分析代码将开源。正式实验对你有什么用如果你在选型可以等更全的模型对比再决策如果你在做效率优化可以拿正式实验的基线做参照系如果你关心方法论可以等完整的三重验证和开源数据。如果你想自己动手测一测翻到我们的LLM效率优化的完整手册那里有完整的操作手册。从一个公式到本文LTEB走了完整一圈。如果你刚读完实践篇的四条工程原则和三层优化方法论这篇就是它们的第一份实战答卷。但这不是终点——框架是死的你的场景才是活的。知道一百个公式不如跑通一次基线。跑通一次基线不如找准一个方向优化。下一题该你出了。符号速查与术语表L1核心效率指标ECET等效有效试次成本每获得一次成功输出平均消耗的Token数。仅在p0时有定义p0时无定义除以零改用CR和W_f描述ECET_t时间效率投影每次有效试次的等效时间成本需计时数据ECET_m货币效率投影每次有效试次的等效货币成本需外部定价参数TPC单题尝试成本TrialPerQuestionCost总Token消耗/总题数部署视角的补充指标L2能力质量指标p合格率所有试次中成功的比例CR可解率CoverageRateK次迭代内至少成功一次的题目比例p的题目空间伴生指标FSR首次成功率每道题第一次迭代即成功的比例——L2准确性维度构成FSR→CR→p三点谱系FSR测一次出手CR测K次内能不能搞定p测每次多大概率W_f失败浪费率浪费的Token占总消耗的比例R_fs失败浪费比(1-p)·μf/(p·μs)衡量失败浪费与成功投入的比例超过0.5为严重μs/μf成功/失败时的平均Token消耗H_ECETECET异质性指数量化题级平均ECET与聚合比率ECET的差异程度5%同质≥15%高度异质ECET/TPC比越接近1说明失败浪费越少1.3时提示幸存者偏差需关注CR和W_fL3稳健性指标CST一致性多次运行结果的一致程度本次未测RBS鲁棒性对输入扰动和配置变化的敏感度本次未测ID信息密度单位Token的信息量本次未测统计概念CI置信区间BCaBias-CorrectedandAcceleratedBootstrap置信区间的偏误校正方法MDE最小可检测差异当前样本量能可靠检出的最小效应量本实验为20%Cohensd参数化效应量以标准差为单位衡量均值差异Cliffsdelta非参数效应量P(XY)-P(XY)正值表示X倾向于更高的值不受分布形态影响更适合ECET这类右偏分布数据来源LTEB框架实验数据参考文献Wei,J.,Wang,X.,Schuurmans,D.,Bosma,M.,Ichter,B.,Xia,F.,Chi,E.,Le,Q.,Zhou,D.(2022).Chain-of-Thought Prompting Elicits Reasoning in Large Language Models.InAdvances in Neural Information Processing Systems 35(NeurIPS2022).https://arxiv.org/abs/2201.11903Cobbe,K.,Kosaraju,V.,Bavarian,M.,Chen,M.,Jun,H.,Kaiser,L.,Plappert,M.,Tworek,J.,Hilton,J.,Nakano,R.,Hesse,C.,Schulman,J.(2021).Training Verifiersto Solve Math Word Problems.arXivpreprint.https://arxiv.org/abs/2110.14168GSM8K数据集Chen,M.,Tworek,J.,Jun,H.,Yuan,Q.,Pinto,H.P.d.O.,Kaplan,J.,Edwards,H.,Burda,Y.,Joseph,N.,Brockman,G.,etal.(2021). Evaluating Large Language Models Trained on Code.arXivpreprint.https://arxiv.org/abs/2107.03374HumanEval数据集Hendrycks,D.,Burns,C.,Basart,S.,Zou,A.,Mazeika,M.,Song,D.,Steinhardt,J.(2021). Measuring Massive Multitask Language Understanding. InInternational Conferenceon Learning Representations (ICLR2021).https://arxiv.org/abs/2009.03300MMLU数据集Efron,B.Tibshirani,R.J.(1993).An Introduction to the Bootstrap. ChapmanHall.https://doi.org/10.1007/978-1-4899-4541-9Holm,S.(1979). Asimplese quentially rejective multiple test procedure.Scandinavian Journal of Statistics,6(2),65-70.https://www.jstor.org/stable/4615733Cliff,N.(1993). Dominance statistics: Ordinal analyses to answer ordinal questions.Psychological Bulletin,114(3),494-509.https://doi.org/10.1037/0033-2909.114.3.494