
一、文章主要内容总结该研究针对大型语言模型(LLMs)训练推理成本高、能耗大、难以终端部署的核心问题,提出了量子启发的张量网络压缩框架KARIPAP。其核心是结合无限投影纠缠对态(iPEPS)与张量重整化群(TRG)优化,通过结构化张量分解而非单纯减少神经元数量或降低权重精度,实现模型压缩。核心技术路径:权重矩阵张量化:将自注意力(SA)和多层感知机(MLP)的稠密权重矩阵重塑为高阶张量,暴露多维参数关联;iPEPS表示:通过二维张量网络建模跨层多向纠缠,突破传统一维矩阵乘积态(MPS)的关联建模限制,适配LLM的多头注意力结构;TRG优化:采用分层粗粒化和截断策略,将指数级复杂度的张量收缩转化为多项式复杂度((O(\chi^6)),(\chi)为键维度),平衡压缩率与表征保真度;分布式微调:在多GPU环境下对压缩模型微调,减少设备间数据传输开销,提升训练与推理效率。实验结果(基于LLaMA-2 7B):压缩性能:最高实现93%内存缩减和70%参数压缩,模型体积从27.1GB降至2.1GB;效率提升:训练速度加快50%,推理吞吐量提升25%;精度保留:仅2-3%的精度损失,在语言理解、常识推理等多类基准测试中表现优于传统量化方法;