大模型越来越大但手机内存就那么点。于是端侧模型成了今年的新战场。智谱在这个方向上布局挺早他们的GLM系列一直在出小版本而且说实话效果有点超预期。先明确一个概念端侧模型不是简单地把大模型压缩一下就行了。压缩意味着损失而手机上的使用场景对延迟、功耗、内存占用都有极致的要求。这本质上是在多个约束条件下做优化难度不亚于训一个大模型。智谱在端侧模型上用了几个比较巧妙的技术。一个是混合精度量化就是把模型参数从浮点数转成低精度整数但不是一刀切——对重要的层保持较高精度不重要的层压得更狠。这样在精度损失很小的情况下模型体积能缩小好几倍。另一个是知识蒸馏的升级版。传统的蒸馏就是让小模型模仿大模型的输出但智谱做的是多层级的蒸馏——不光模仿最终的输出还模仿中间层的表示。这就像不光让学生抄答案还让学生理解老师的解题思路。效果嘛确实比简单蒸馏好不少。我去年在一个硬件厂商的活动上第一次接触到智谱的端侧模型。当时他们在一个中端手机上跑了一个7B量级的模型做实时对话延迟居然能做到毫秒级。而且不是那种你好天气不错的简单对话是真的能聊点有内容的东西。说实话那一刻我对端侧AI的认知被刷新了。端侧模型的价值在哪儿很多人第一反应是隐私——数据不出手机当然更安全。这没错但我觉得更大的价值在于离线可用和低延迟。想象一下你在地铁里没信号的时候手机上的AI助手依然能帮你写邮件、整理笔记、翻译文档这是云端模型永远做不到的。智谱在端侧的野心显然不只是做个能对话的助手。他们最近展示的端侧多模态能力让我印象很深——手机摄像头对准一个外语菜单实时翻译叠加在屏幕上全程在本地处理不需要联网。这个场景太实用了出国旅游的时候简直是救命功能。当然端侧模型的性能天花板是客观存在的。手机那点算力不可能跑出云端大模型的效果。但智谱的策略不是追求跟大模型一样好而是追求在这个体量下做到最好。他们的端侧模型在特定任务上比如文本摘要、简单翻译、基础问答已经能做到让人很难分辨是本地跑的还是云端跑的了。还有一个很有意思的点。智谱把端侧模型和云端模型做成了一个协同系统——简单的任务本地处理复杂的任务自动切到云端。用户完全无感但体验和成本都得到了优化。这个端云协同的思路我觉得是未来的大方向。端侧AI这条路还很长芯片、算法、应用生态都需要时间成熟。但智谱在这条路上的积累已经让他们占据了不错的位置。等硬件再进步一两代端侧模型的能力还会有质的飞跃。