SCALE: Upscaled Continual Learning of Large Language Models 发布时间:2026/7/26 9:31:50 文章总结与翻译一、主要内容本文针对大语言模型(LLMs)的持续预训练问题,提出了一种宽度扩展架构SCALE(Upscaled Continual Learning),核心是在冻结所有预训练参数的前提下,通过在线性模块中插入轻量级扩展块来增加模型容量,同时保留原始残差结构和注意力拓扑,避免破坏基础模型的原有功能。SCALE基于两大设计原则:持久保留(Persistent Preservation):通过面向保留的初始化(将扩展块中的W12W^{12}W
BengaliMoralBench: A Benchmark for Auditing Moral Reasoning in Large Language Models within Benga... 2026/7/26 9:31:50