1. 从“千亿”到“万亿”我们正在进入一个怎样的AI时代最近圈子里聊得最多的除了哪个模型又开源了可能就是“Token消耗量”了。如果你关注过DeepSeek、ChatGLM这些国产大模型的动态可能会看到一个让人咋舌的数字单日处理8万亿Token。这不是天方夜谭而是正在发生的现实。几年前我们还在为如何高效处理千亿级参数模型发愁现在挑战的焦点已经悄然从“模型参数规模”转向了“数据吞吐规模”——也就是Token。简单来说Token可以理解为AI模型处理信息的基本单位。在文本领域一个Token大约对应0.75个英文单词或2-3个中文字符。当你向ChatGPT提问或者让Kimi帮你总结一份长文档时模型就是在对输入的Token进行理解和运算再生成输出的Token。所以Token的吞吐量直接决定了AI服务的响应速度、并发能力和成本。8万亿Token是什么概念假设每个Token的处理成本是0.000001元这已经是非常乐观的估计一天光是计算成本就可能高达80万元。这背后是对AI基础设施AI Infra极限的压榨。那么当行业集体迈向“万亿Token时代”作为应用开发者、企业技术负责人或者只是对AI技术趋势保持敏感的人我们最应该关心什么我认为核心矛盾已经从“有没有强大的AI芯片”变成了“如何让每一块芯片、每一度电都能高效、稳定地转化为AI算力”。这就是AI Infra的战场。它不再是一个遥远的、只有超大规模云厂商才需要关心的底层课题而是任何想要部署、优化或自研大模型服务的团队都无法回避的工程挑战。今天我们就来拆解一下面对这个新时代从芯片到框架再到整个软件栈国产AI Infra的“准备度”到底如何。2. AI Infra全景图万亿Token压力下的核心战场要理解“准备好了吗”这个问题我们首先得看清支撑大模型推理的AI Infra到底包含哪些关键层级以及每个层级在应对海量Token时面临的具体挑战。我们可以把它自上而下分为四层应用与框架层、编译器与运行时层、计算库层、以及最底层的硬件层。每一层都像一个齿轮必须严丝合缝地啮合才能驱动万亿Token的洪流平稳通过。2.1 硬件层算力基石与“内存墙”困境硬件是一切的基础。在万亿Token场景下硬件的核心指标不再是单纯的峰值算力TFLOPS而是算力利用率、内存带宽和能效比。GPU的统治与瓶颈目前业界事实上的标准是英伟达的GPU其强大的并行计算能力和成熟的CUDA生态无人能及。但在处理超长序列比如百万Token的文档时即使是最新的H200也会遇到严重的“内存墙”问题。模型参数和中间激活值KV Cache会迅速吃光显存导致计算单元闲置等待数据从显存搬运过来。这就是为什么长文本推理的速度会急剧下降。国产替代的进击以昇腾为例这是国产Infra最受关注的环节。华为的昇腾Ascend系列AI处理器如昇腾910、昇腾310等正在努力构建自己的生态。昇腾通过达芬奇架构、片上HBM高速内存等设计在特定模型和算子上的性能表现已经可圈可点。然而其挑战在于软件生态成熟度CUDA经过十多年积累拥有无数优化过的计算库cuBLAS, cuDNN和海量的开发者经验。昇腾的CANNCompute Architecture for Neural Networks软件栈虽然功能日益完善但在算子覆盖度、第三方框架适配的便捷性以及社区 troubleshooting 的经验积累上仍有追赶空间。长尾场景支持对于最新的模型架构如Mamba, MoE中的新颖算子或是一些小众但必要的预处理/后处理操作国产硬件平台的官方支持可能滞后需要用户自己实现或等待更新。部署与运维成本企业从熟悉的英伟达生态切换到昇腾需要重新学习部署工具链、性能调优方法并承担潜在的兼容性风险这构成了不小的隐性成本。注意硬件选型时切勿只看纸面算力。务必评估你的典型工作负载模型结构、序列长度、批量大小在该硬件上的实测端到端吞吐量和延迟以及相应的软件栈稳定性和开发效率。2.2 计算库与编译器层把硬件潜力“榨干”有了强大的硬件如何把它的潜力100%发挥出来这就要靠计算库和编译器。这一层负责将高层的模型计算图“翻译”和“优化”成在特定硬件上最高效执行的机器指令。计算库如oneDNN, cuDNN, ACL这是高度优化的基础算子集合比如矩阵乘法、卷积、注意力机制等。在万亿Token场景下注意力Attention算子的优化至关重要因为其计算复杂度随序列长度呈平方级增长。FlashAttention、PagedAttention等技术的出现正是为了突破这个瓶颈。国产硬件平台需要确保自己的计算库对这些前沿优化技术有及时、高效的支持。编译器如TVM, MLIR, 昇腾的MindSpore Graph Engine它的作用更智能。编译器可以对整个计算图进行融合将多个小算子合并成一个、流水线编排、内存复用优化等。例如它能自动识别出计算图中哪些中间变量可以复用内存从而在有限的显存中塞下更长的序列或更大的批量。对于国产Infra编译器的优化能力直接决定了其上运行模型的最终性能上限。实操心得在评估一个AI硬件或平台时一定要跑一个完整的、带真实数据预处理和后处理的端到端推理pipeline。只测试一个孤立的矩阵乘法算子成绩再好也可能因为编译器优化不足或IO瓶颈导致整体性能不达预期。2.3 推理引擎与运行时层系统的调度大师这一层是我们日常接触最多的部分也就是常说的推理引擎比如TensorRT、ONNX Runtime、vLLM、TGIText Generation Inference等。它们的作用是加载模型、管理请求队列、调度计算任务、管理内存尤其是KV Cache并提供API服务。在万亿Token时代推理引擎的核心挑战是高并发下的资源管理和效率。动态批处理Dynamic Batching不同用户的请求其输入序列长度差异可能巨大。一个好的推理引擎需要动态地将多个请求“拼”成一个批次进行计算以提升GPU利用率同时又要保证短序列请求的响应速度不受长序列请求拖累。持续批处理Continuous Batching对于流式生成如ChatGPT逐字输出传统的做法是等一个请求完全生成完毕再处理下一个这会造成大量计算资源闲置。持续批处理允许多个处于不同生成阶段的请求在同一批次中被同时计算极大地提升了吞吐量。vLLM正是凭借其高效的PagedAttention和持续批处理能力而闻名。内存管理这是应对长文本的关键。传统的KV Cache管理方式会造成严重的内存碎片。类似vLLM的“分页注意力”机制将KV Cache视为可灵活分配和释放的“内存页”显著提升了显存利用率和并发能力。国产推理引擎如MindSpore Serving、FastGPT等必须集成或自主研发同等效率的内存管理方案。2.4 应用与框架层生态繁荣的土壤最上层是各种AI框架PyTorch, TensorFlow, JAX, 国内的MindSpore, PaddlePaddle和具体的模型应用。这一层的“准备度”体现在国产框架是否能无缝支持最新的、为长序列优化的模型架构其模型导出、量化、部署的工具链是否便捷例如PyTorch凭借其动态图的易用性和活跃的社区成为了模型研究和原型验证的绝对主流。许多针对长序列优化的技术如FlashAttention都率先在PyTorch上实现。国产框架需要确保能方便地接入这些前沿成果或者提供有竞争力的替代实现。同时模型量化将FP32模型转换为INT8/INT4以降低存储和计算开销工具链的成熟度和易用性也直接关系到推理成本。3. 核心挑战拆解为什么万亿Token如此艰难理解了基础设施的层次我们就能更具体地看到要实现高效的万亿Token处理究竟难在哪里。这些挑战是横亘在所有AI Infra方案面前的共同难题。3.1 显存容量与带宽的“双重围剿”这是最直观的物理限制。大模型的参数以FP16精度存储本身就要占用数十GB显存。在推理时为了加速自回归生成需要缓存之前所有生成步骤的Key和Value向量这就是KV Cache。其大小与**批次大小batch size、序列长度sequence length、注意力头数heads和向量维度head_dim**成正比。对于一个175B参数的模型处理一个2048长度的序列KV Cache可能就需要占用上百GB的显存。当序列长度迈向百万Token时这个数字是灾难性的。即使通过量化、模型切分Tensor Parallelism等技术降低参数占用KV Cache的爆炸性增长依然是核心瓶颈。因此像vLLM的PagedAttention这样的技术其本质是通过精细的内存管理让有限的显存能够“服务”更多的并发请求和更长的序列而不是简单地增加物理显存。3.2 计算效率注意力机制的“平方之殇”Transformer模型的核心是自注意力机制其计算复杂度和内存复杂度都与序列长度的平方O(n²)相关。当序列长度从1K增加到100K时计算量将增加一万倍。这对于任何硬件都是难以承受的。因此近两年的研究热点一直围绕如何“优化”或“替代”标准的注意力机制优化FlashAttention系列通过算法重构在保持数学等价的前提下大幅减少对显存带宽的访问从而提升计算速度和降低显存占用。它已经成为现代推理引擎的标配。替代出现了Mamba基于状态空间模型、RWKV基于线性注意力等新架构它们试图用线性复杂度O(n)的模块来替代二次复杂度的注意力在长序列任务上展现出巨大潜力。AI Infra需要快速适配这些新架构为其提供高效的底层实现。3.3 系统与调度复杂度从静态到动态传统的批量推理是静态的准备好一批数据一次性计算完成。但在真实的在线服务中请求是随机到达的长度不一且要求流式响应。这就要求推理系统从一个“计算器”转变为一个“操作系统”。异构资源调度在云原生环境下一个推理服务可能由多个GPU实例甚至不同型号的硬件组成。系统需要智能地将请求调度到合适的节点上。服务质量QoS保障如何在高负载下优先保证VIP用户或高优先级请求的低延迟如何防止一个超长序列的请求阻塞整个系统这需要复杂的队列管理和调度策略。容错与弹性伸缩当某个GPU实例故障时系统能否自动将请求迁移到其他健康节点当流量洪峰来临时能否快速扩容这些都是生产级AI服务必须考虑的问题。4. 国产AI Infra的“准备度”评估与实战思考结合上面的分析我们可以从几个维度来评估国产AI Infra在万亿Token时代的准备情况并给出一些实战选型建议。4.1 硬件与芯片有亮点但生态是决胜关键以昇腾为代表的国产AI芯片在算力绝对值上已经具备了挑战者的实力。其达芬奇架构、高带宽内存等设计理论上能很好地支持大模型计算。在一些官方标杆测试和特定模型上性能数据也相当亮眼。然而真正的差距在于“生态”和“易用性”模型兼容性你是否能轻松地将一个在PyTorch上训练的、使用了最新社区优化技术如FlashAttention-2的模型一键转换并高效运行在昇腾上这个过程可能仍然需要不少手动调整和适配工作。算子支持对于科研界和工业界快速涌现的新模型、新算子CANN软件栈的跟进速度如何企业是否要承担“等待官方支持”的风险社区与工具链当你在部署中遇到一个诡异的核心转储Core Dump时是能在Stack Overflow或GitHub Issues里找到大量相似的讨论和解决方案CUDA生态还是需要更多地依赖原厂支持实战建议如果你的应用场景相对固定例如始终运行几个特定的、已被充分验证的模型且对供应链安全、成本有极端要求国产硬件是一个值得深入评估和测试的选择。建议设立一个严格的POC概念验证流程用真实的业务负载进行至少数周的稳定性、性能和开发效率测试。4.2 软件栈与推理引擎正在加速追赶在软件层面国内公司和社区的反应非常迅速。框架层华为的MindSpore、百度的PaddlePaddle都在积极集成长序列优化技术并优化其动态图性能和部署体验。推理引擎层出现了针对国产硬件优化的推理服务框架也在借鉴vLLM等开源项目的思想开发高性能的动态批处理和内存管理模块。但挑战同样存在如何形成合力目前国内存在多个技术栈昇腾MindSpore 其他国产芯片自有SDK等一定程度上分散了生态力量。开发者希望看到的是更统一、更标准化的接口和更丰富的模型仓库Model Zoo让部署一个模型像docker pull一样简单而不必关心底层是哪种硬件。4.3 给开发者和企业的行动指南面对这个快速演进的时代等待一切成熟再行动可能会错失机遇。以下是一些具体的行动思路技术选型“金字塔”原则优先采用最上层、最通用的技术。即优先使用PyTorch编写模型优先使用ONNX作为中间表示优先使用像vLLM这样硬件无关性较好的推理引擎只要它支持你的目标硬件。这能最大程度保持灵活性避免被单一底层技术栈锁死。建立性能基准测试体系不要相信任何宣传数据。为你的核心模型和业务场景建立一套完整的性能基准测试Benchmark套件。指标至少应包括吞吐量Tokens/s、请求延迟P50, P99、显存利用率、能效比Tokens/J。定期用这套体系去评估不同的硬件和软件栈组合。关注“端到端”成本而非单点价格硬件采购成本只是一部分。要计算总拥有成本TCO包括电力消耗、机房散热、运维人力、软件授权费如果有以及最重要的——因为性能不达标或不稳定导致的业务损失成本。一个单价稍高但稳定高效的平台长期来看可能更划算。积极拥抱云原生和开源将AI服务容器化使用Kubernetes进行编排管理。这不仅能提升资源利用率和弹性也能让你更容易地在不同的硬件环境包括混合云间迁移和调度。积极参与vLLM、TGI等开源社区你的贡献和反馈能推动整个生态向解决你实际问题的方向演进。为“混合架构”做准备未来的AI计算很可能不是单一架构的天下。可能会是CPU处理预处理和调度GPU处理稠密矩阵计算而一些专用的AI芯片或FPGA处理特定的稀疏计算或新型注意力机制。你的软件架构应该具备这种灵活性。5. 未来展望超越追赶定义新范式万亿Token时代对AI Infra的要求是苛刻的但它也孕育着巨大的创新机会。对于国产AI Infra而言完全沿着CUDA的路径追赶是一个选项但或许不是唯一和最佳的选项。真正的机会在于结合下一代AI模型架构如Mamba、MoE的特点以及国内丰富的应用场景如超长文本审核、长视频理解、代码仓库级分析从硬件架构设计之初就进行软硬协同优化。例如能否设计一种对状态空间模型SSM有原生加速支持的芯片能否在编译器层面对MoE模型的动态路由机制进行极致优化此外在系统层面如何更好地管理异构计算资源CPU、GPU、NPU乃至存算一体设备实现跨设备的细粒度流水线和内存共享也是一个可以构筑壁垒的方向。从我个人的实践来看当前阶段在核心生产环境采用成熟稳定的主流生态如英伟达同时在创新业务或特定场景中积极试点和赋能国产软硬件平台是一种务实且风险可控的策略。同时必须投入资源深入理解底层Infra的原理而不仅仅是调用API。因为当流量和复杂度指数级增长时所有抽象都会“泄漏”Leaky Abstraction最终解决问题的还是你对系统每一层工作原理的深刻认知。万亿Token的洪流已经到来它正在冲刷和重塑AI基础设施的每一条河道。这场考验关乎性能关乎成本更关乎我们能否在智能时代构建自主、高效且可持续的计算底座。准备永远没有完成时只有进行时。
