致谢与相关信息我们衷心感谢西蒙斯基金会、成员机构以及所有贡献者的支持。欢迎捐赠。也可了解 arXiv 成为独立非营利组织的相关情况。搜索信息计算机科学 arXiv:2401.07013搜索选项涵盖所有字段包括标题、作者、摘要、评论、期刊参考、ACM 分类、MSC 分类、报告编号、arXiv 标识符、DOI、ORCID、arXiv 作者 ID、帮助页面、全文。快速链接登录帮助页面关于计算机科学 - 计算与语言arXiv:2401.07013(计算机科学)该论文于 2024 年 1 月 13 日提交 ([v1])最后于 2024 年 11 月 9 日修订此版本为 v2。标题与作者标题黑盒大语言模型的知识蒸馏作者论文作者包括陈宏展、陈瑞军、易雨琪、全小军、李陈亮、严明、张吉。可查看由陈宏展等 6 位作者撰写的《黑盒大语言模型的知识蒸馏》论文的 PDF 版本。查看 PDF HTML实验版摘要鉴于 GPT - 4 等专有大语言模型LLM表现卓越近期研究愈发关注通过知识蒸馏KD从这些强大但为黑盒的教师模型提升较小模型的能力。虽然利用这些教师模型的高质量输出有优势但无法访问其内部状态往往限制了有效的知识转移。为克服这一限制研究人员提出了 Proxy - KD 这一新颖方法它使用代理模型来促进知识从黑盒大语言模型高效转移到较小模型。实验表明Proxy - KD 不仅提升了从黑盒教师模型进行知识蒸馏的性能还超越了传统的白盒知识蒸馏技术。这种方法为从先进大语言模型中蒸馏知识提供了一个极具吸引力的新途径。主题计算与语言 (cs.CL)引用方式[arXiv:2401.07013] [cs.CL]或对于此版本使用 [arXiv:2401.07013v2] [cs.CL]https://doi.org/10.48550/arXiv.2401.07013arXiv 通过 DataCite 分配的 DOI提交历史来自陈宏展 [查看邮箱][v1]2024 年 1 月 13 日星期六 08:43:32 UTC359 KB[v2]2024 年 11 月 9 日星期六 01:35:32 UTC8,288 KB全文链接可查看由陈宏展等 6 位作者撰写的《黑盒大语言模型的知识蒸馏》论文的 PDF 版本。查看 PDFHTML实验版TeX 源代码查看许可当前浏览上下文cs.CL 上一篇 | 下一篇 最新论文 | 近期论文 | 2024 - 01可切换浏览方式计算机科学参考文献与引用NASA ADS谷歌学术语义学者导出 BibTeX 引用加载中...BibTeX 格式引用×加载中...数据提供方书签可在以下平台添加书签文献工具文献与引用工具文献浏览器切换文献浏览器(什么是文献浏览器)关联论文切换关联论文(什么是关联论文)Litmaps 切换Litmaps(什么是 Litmaps)scite.ai 切换scite 智能引用(什么是智能引用)代码、数据与媒体alphaXiv 切换alphaXiv(什么是 alphaXiv)代码链接切换CatalyzeX 论文代码查找器(什么是 CatalyzeX)DagsHub 切换DagsHub(什么是 DagsHub)GotitPub 切换Gotit.pub(什么是 GotitPub)Huggingface 切换Hugging Face(什么是 Huggingface)ScienceCast 切换ScienceCast(什么是 ScienceCast)演示Replicate 切换Replicate(什么是 Replicate)空间切换Hugging Face 空间(什么是空间)空间切换TXYZ.AI(什么是 TXYZ.AI)相关论文推荐器与搜索工具影响花链接影响花(什么是影响花)CORE 推荐器切换CORE 推荐器(什么是 CORE)作者出版地机构主题关于 arXivLabsarXivLabs与社区合作的实验项目arXivLabs 是一个框架允许合作者直接在网站上开发和分享新的 arXiv 功能。与 arXivLabs 合作的个人和组织都认同并接受开放、社区、卓越和用户数据隐私价值观。arXiv 致力于这些价值观并且只与坚持这些价值观的合作伙伴合作。若你有能为 arXiv 社区增值的项目想法可了解更多关于 arXivLabs 的信息。本文的哪些作者是认可者 | 禁用 MathJax (什么是 MathJax)关于帮助联系 arXiv 点击此处联系 arXiv 联系订阅 arXiv 邮件 点击此处订阅 订阅版权隐私政策网络无障碍协助arXiv 运行状态