1. 项目缘起当大模型需要“匿名”协作时最近在折腾一个挺有意思的私人项目核心需求是让多个不同的大语言模型LLM能协同工作处理一些复杂的任务链。比如先用一个模型做意图分析再根据结果把问题路由到另一个更专业的模型去生成答案。这个想法本身不新鲜市面上已经有不少LLM路由或编排框架了。但在实际动手时我遇到了一个之前没太深究的“硬伤”隐私泄露风险。想象这样一个场景你开发了一个智能客服系统用户输入的问题可能包含个人身份信息、健康数据或商业机密。你的路由框架需要分析这个问题然后决定是交给本地的开源模型处理还是调用某个昂贵的云端API。问题来了这个“分析”过程本身无论是简单的关键词匹配还是用一个轻量级模型做分类都不可避免地会“看到”用户的原始输入。即便你最终选择了一个号称“隐私友好”的本地模型路由决策这个环节本身就已经成了数据泄露的潜在窗口。更不用说在多方协作的场景下参与路由决策的节点可能分属不同机构谁都不愿意把自己的原始数据或模型参数暴露给对方。这就是“PPRoute”这个想法诞生的背景。它不是一个凭空造出的概念而是试图用安全多方计算Secure Multi-Party Computation, MPC这把钥匙去解开“隐私保护下的智能路由”这把锁。简单来说MPC能让多个参与方在不公开各自私有数据比如用户的查询文本、某个模型的性能特征或内部权重的前提下共同计算出一个结果比如“应该将查询路由给哪个模型”。整个过程任何一方都无法窥探其他方的原始输入只能得到最终的计算结果。这个需求在当下越来越迫切。随着《数据安全法》、《个人信息保护法》等法规的落地以及企业对自身数据资产保护的意识增强“可用不可见”的数据协作模式成了刚需。同时大模型生态本身也在分化有的模型长于创意有的精于逻辑有的对中文理解更深有的在特定领域有微调优势。一个能根据查询内容在保护隐私的前提下智能选择最合适模型的框架其价值不言而喻。它能让中小团队在不具备训练全能模型能力的情况下通过组合与调度获得接近甚至超越单体大模型的效果同时牢牢守住数据安全的底线。2. 核心挑战在“黑盒”中做出明智决策设计PPRoute框架首先要直面几个核心的技术挑战。这些挑战决定了我们不能简单地把传统的路由逻辑套上一个MPC的壳子而是需要从底层重新思考。2.1 路由依据的隐私化定义传统路由框架的决策依据通常是明文的。例如基于查询的嵌入向量与各模型描述向量的余弦相似度或者基于一个分类器对查询意图的判断。在PPRoute中这些依据必须被转化为可以在密文状态下计算的形式。基于语义相似度的路由这是最直观的思路。每个参与方模型提供方可以预先计算好自己模型的“能力描述向量”例如在多个标准任务上的表现向量并对其进行加密或秘密分享。当用户查询到来时路由节点或另一个参与方将查询文本转化为嵌入向量同样进行秘密分享。随后各方在密文状态下计算查询向量与各模型描述向量的相似度如余弦相似度最后通过MPC协议比较这些相似度选出最大值对应的模型而整个过程无人知晓具体的向量值。基于轻量级预测模型的路由我们可以训练一个微型的神经网络或决策树其输入是查询的某些特征如长度、关键词哈希、句法复杂度等输出是推荐模型的索引。将这个预测模型的权重参数进行秘密分享。当新的查询到来时其提取的特征也以秘密分享的形式输入各方协作在密文上“运行”这个预测模型得到加密的预测结果再解密出最终的路由目标。2.2 性能与精度的权衡MPC不是免费的午餐。它带来了巨大的计算和通信开销。一个在明文下只需几毫秒的浮点数乘法在MPC下可能需要数百倍甚至上千倍的时间并伴随大量的网络数据传输。计算粒度选择我们必须谨慎选择在MPC中进行的计算操作。将整个大模型的推理过程用MPC保护起来是极度不现实的研究领域有相关探索但离实用很远。PPRoute的智慧在于它只将路由决策这个相对轻量的过程进行隐私保护。模型本身的调用和推理依然在受信任的环境如模型提供方自己的安全容器中进行。这相当于只对“调度员”的工作内容保密而“工人”大模型的工作环境本身是可信的。算法与协议选型不同的MPC协议如Garbled Circuits, Secret Sharing, Homomorphic Encryption适用于不同的计算类型布尔电路、算术电路。我们需要为路由逻辑比较、选择、简单的神经网络前向传播设计最高效的电路或计算图并选择合适的MPC协议来实现。例如比较操作在Garbled Circuits中很高效而大量的向量点积运算可能更适合基于秘密分享的协议。2.3 动态性与可扩展性一个实用的路由框架不能是静态的。新的模型会加入旧的模型可能下线或更新模型的实时负载和响应延迟也在变化。模型元信息的秘密更新当一个新的模型加入联盟时如何在不向其他方泄露其详细能力描述的前提下让路由决策逻辑将其纳入考量这可能需要一个可信的“注册”阶段模型提供方提交其能力的加密承诺并在后续的MPC计算中证明其有效性。性能感知路由理想的路由不仅要看能力匹配度还要考虑模型的当前负载和响应速度。但这些性能指标同样是敏感信息可能暴露业务量。我们可以设计一种隐私保护的竞标机制各模型方根据当前负载秘密地提交一个“成本”或“优先级”数值路由决策在综合考虑能力匹配度和秘密成本后选出最优解。注意在工程实践中我们通常采用混合架构。例如将不敏感的路由规则如模型支持的语种、输入输出格式放在明文配置中而将涉及核心竞争力和用户隐私的决策因子如模型对某类问题的精确匹配度、查询中的敏感信息放入MPC流程。这能大幅降低系统复杂度。3. 技术实现选型构建隐私计算的“调度中心”纸上谈兵终觉浅我们来聊聊具体怎么搭这个架子。PPRoute的实现可以看作一个分层架构每一层都有明确的技术选型考量。3.1 基础MPC协议栈的选择这是整个框架的基石。目前工业界和学术界有几个比较成熟的开源MPC框架可供选择MP-SPDZ这是一个功能非常全面的框架支持多种MPC协议秘密分享、混淆电路等和高级编程抽象。它的优点是“一站式”你可以在一个框架内尝试不同的协议来优化性能。缺点是部署和集成相对复杂对于特定场景可能不是最高效的。Obliv-C基于C语言的混淆电路框架性能很高特别适合实现需要大量布尔电路操作的路由逻辑比如决策树。但编程范式更底层需要将算法手动编译成电路描述。TF-Encrypted如果你熟悉TensorFlow这是一个很好的选择。它允许你像写普通的TensorFlow程序一样定义计算图然后自动将其转换为隐私保护的计算。这对于实现基于神经网络的隐私保护路由器非常友好。对于PPRoute我倾向于一个混合方案使用基于秘密分享的协议如SPDZ来处理大量的算术运算如向量相似度计算而对于最终的选择逻辑比较并输出索引则使用一个高效的混淆电路。这样可以兼顾计算效率和通信轮数。3.2 路由决策逻辑的密态化实现假设我们选择基于语义相似度的路由策略。以下是其密态化实现的核心步骤模型注册每个模型提供方Mi本地计算其模型的能力向量Vi例如在N个标准问题集上的得分向量。然后Mi将Vi拆分为多个秘密分片[Vi]1, [Vi]2, ...分别发送给不同的计算节点MPC参与方保存。原始向量Vi被销毁。查询处理当路由网关收到用户查询Q时首先在本地或一个可信的预处理服务将其转换为嵌入向量Eq。这个转换过程本身是公开的算法如Sentence-BERT不涉及隐私。然后网关将Eq同样进行秘密分享得到分片[Eq]1, [Eq]2, ...分发给各计算节点。密态相似度计算所有计算节点协作利用MPC协议计算[Eq]与每一个[Vi]的余弦相似度[Si]。具体来说需要计算点积[Eq·Vi]和各自的范数[||Eq||]、[||Vi||]然后在密态下完成除法[Si] [Eq·Vi] / ([||Eq||] * [||Vi||])。所有这些操作都在秘密分享的数值上进行节点看到的只是一堆随机的分片。密态最大值索引选择现在每个节点都持有M个模型对应的相似度分数密文分片[S1], [S2], ..., [SM]。它们需要协作找出哪个[Si]最大。这是一个典型的密态比较问题。可以通过一系列的比较-交换操作构成一个比较电路来实现。最终各节点会得到另一个秘密分享的结果一个one-hot向量[R]其中只有最大值对应的位置为1其余为0。结果解密与路由各计算节点将结果分片[R]发送给路由网关。网关收集到足够的分片后可以重构出明文的结果向量R从而知道应该将查询Q路由给哪个模型Mi。网关随后将原始的或经过必要脱敏的查询Q发送给Mi的公开API端点进行处理。3.3 系统架构与组件设计一个完整的PPRoute系统可能包含以下组件客户端SDK负责接收用户查询进行必要的预处理如分词、基础过滤并与路由网关通信。路由网关公开组件系统的入口负责查询接收、结果返回、与MPC计算集群的协调。它不参与核心的密态计算。MPC计算集群由多个互不勾结的节点组成运行MPC协议。这些节点可以由不同机构运营形成去中心化的信任。它们存储着模型能力向量的秘密分片。模型提供方服务每个大模型的实际运行服务。它们通过公开或受控的API提供服务并在系统初始化时向MPC集群注册了自己的能力向量秘密分片。模型注册与发现服务一个相对可信的中心化或去中心化服务管理模型的基本元信息名称、API端点、支持的协议和其能力向量秘密分片的“指纹”或承诺用于验证。[用户] - [客户端SDK] - [路由网关] --(发送查询秘密分片)-- [MPC计算集群] | | (密态计算) | [路由网关] --(接收结果分片并解密)-- [MPC计算集群] --(存储能力向量分片)-- [模型提供方] | | (根据解密结果路由) V [模型A/B/C...] - [返回结果] - [路由网关] - [用户]4. 实战部署与性能调优踩坑记理论设计得再完美落地时总会遇到一堆意想不到的问题。下面分享几个在搭建PPRoute原型时踩过的坑和对应的解决方案。4.1 网络延迟成为最大瓶颈最初我们在一台物理机的多个Docker容器里部署MPC节点模拟多方计算。性能测试相似度计算看起来还能接受。但一旦将节点部署到不同地域的云服务器上模拟真实跨机构场景整个系统的延迟飙升了上百倍吞吐量惨不忍睹。根因分析MPC协议尤其是基于秘密分享的协议需要进行大量的网络通信轮次。每一轮通信都需要等待最慢的节点响应。跨地域的公网延迟几十到几百毫秒被通信轮数放大后导致单次路由决策耗时达到数秒甚至十几秒完全不可用。解决方案通信优化采用MPC框架提供的网络优化模式如使用异步通信减少等待时间或使用环状拓扑替代星型拓扑来降低广播开销。计算离线化将一部分不依赖具体查询的计算提前进行。例如模型能力向量Vi的范数||Vi||可以预先计算好并生成其秘密分片存储起来在线计算时就省去了这一步。批处理不要来一个查询就做一次MPC计算。路由网关可以缓存一小批查询例如10-20个然后将这批查询的嵌入向量一起进行秘密分享和计算。MPC协议在处理向量化或矩阵化运算时平均通信开销会降低。虽然增加了单次请求的延迟等待批处理形成但大幅提高了系统整体的吞吐量。协议选择对于广域网环境可以优先考虑通信轮数固定的协议即使单轮计算量大一些。避免使用通信轮数与计算深度线性相关的协议。4.2 浮点数精度与定点数转换的玄学问题MPC协议通常更擅长处理整数或有限域上的运算。而我们的相似度计算尤其是余弦相似度涉及浮点数。直接使用MPC框架的浮点数支持往往效率极低且可能存在兼容性问题。踩坑过程最初尝试使用MP-SPDZ的浮点数库发现不仅速度慢而且不同节点间偶尔会出现极微小的精度差异导致最终比较最大值时出现不一致路由结果随机出错。解决方案放弃原生浮点采用定点数Fixed-point Arithmetic模拟。我们将所有浮点数乘以一个很大的缩放因子例如2^16转换为整数进行计算。例如计算cosine_sim A·B / (|A||B|)我们实际上计算(A·B * SCALE) / (|A||B|)其中除法也是整数除法。这里的关键在于缩放因子SCALE要足够大以保留足够的精度但又不能太大导致整数溢出。经验值对于相似度在[-1,1]范围的值使用16位或32位的定点数表示通常足够。需要仔细测试边界情况如向量模长很小的情况下的精度损失。标准化在计算前先对向量进行L2标准化A/|A|这样分母就变成了1只需要计算点积A·B避免了除法运算。标准化过程可以在秘密分享状态下通过计算范数和除法来完成虽然也是一次性开销但简化了后续每次查询的计算。4.3 模型能力向量“作弊”与可验证性一个恶意的模型提供方可能会注册一个虚假的、夸大的能力向量让自己的模型在路由中被更多地选中。如何在不暴露向量内容的前提下验证其有效性问题在纯MPC方案中计算节点只持有分片无法验证原始向量Vi是否真实反映了模型的能力。解决方案引入零知识证明ZKP或可验证秘密分享VSS。思路一基于承诺在注册阶段模型方不仅提交秘密分片还提交一个对该能力向量的密码学承诺如Pedersen CommitmentC(Vi)到一个公共公告板。同时它需要公开提供在一些公开基准测试集上的模型输出结果。任何验证者都可以用这些公开输出来“部分地”验证模型能力。虽然不能完全对应但大幅提高了作弊成本。在MPC计算中可以设计协议要求模型方证明其使用的秘密分片与之前的承诺C(Vi)对应。思路二基于可信初始化由一个或多个可信方在初始化阶段使用标准的基准测试集对所有注册模型进行一轮评估生成真实的能力向量并为其生成秘密分片。这种方式中心化程度高但实现简单适用于联盟内部可信度较高的场景。提示在原型阶段可以暂时采用“安全假设”即所有参与方都是半诚实的遵循协议但好奇暂不考虑主动作弊。先让核心的隐私保护路由流程跑通再逐步增强安全模型。5. 应用场景展望不止于模型路由PPRoute的核心思想——隐私保护下的协同决策——其实可以推广到更广泛的场景。一旦我们搭建好了这个基于MPC的“盲调度”基础设施很多之前因隐私顾虑而无法实现的协作模式就成为了可能。5.1 隐私保护的联邦学习任务调度在跨机构的联邦学习中中心服务器需要根据各客户端的数据分布来分配不同的模型更新任务或采样策略。传统的联邦学习假设服务器是可信的能看到客户端的元信息。通过PPRoute的思路我们可以让多个客户端在密态下上报自己的数据特征如类别分布统计量由MPC节点协作计算出一个最优的任务分配方案而服务器仅执行分配无法得知具体是哪个客户端的哪种特征影响了决策。5.2 对抗性查询的协同检测与防御单个模型可能难以识别精心构造的对抗性攻击Prompt Injection, Jailbreak。多个模型提供方可以协作建立一个隐私共享的“攻击模式特征库”。当某个模型遇到可疑查询时可以提取其特征如特定token组合、语义异常度的加密形式提交给MPC网络进行联合匹配。如果匹配成功则警告此查询为攻击但任何一方都无法知道具体是哪个特征库条目被匹配保护了各方的防御策略知识产权。5.3 动态、隐私保护的负载均衡这回到了我们最初的一个设想。模型服务方除了能力向量还可以秘密地共享其当前的系统负载指标如CPU使用率、队列长度、响应延迟。路由决策在密态下综合“能力匹配度”和“负载成本”实现全局最优的调度。服务方既参与了负载均衡又无需暴露自己真实的资源状况避免了商业信息泄露。5.4 个人数据与定制化模型的隐私互联未来每个人可能都拥有自己的个性化小模型Personal LLM存储在本地设备上。当需要处理复杂任务时你的个人模型可以作为一个参与方与云端多个专业模型在PPRoute框架下协作。你的个人数据和你模型的特化参数始终以秘密分享的形式参与决策最终决定调用哪个云端模型、并传递必要的上下文而云端模型服务方既不知道你是谁也不知道你具体问了什么只知道它需要处理一个来自“匿名用户”的、已被验证为合规的请求。实现这些场景技术路径是相通的将需要协同的决策逻辑抽象为一个可在密态下计算的函数利用MPC协议构建一个可信的中立计算层。PPRoute for LLM只是一个起点它验证了这种模式在AI调度领域的可行性。随着MPC硬件加速如SGX、TEE和算法优化的不断进步这类隐私保护协作系统的性能瓶颈将逐渐被打破成本也会下降。到那时数据孤岛之间的墙或许真的能在“可用不可见”的原则下被巧妙地绕过而不是粗暴地拆除。