Mathematical Analysis of Hallucination Dynamics in Large Language Models: Uncertainty Quantificat...
文章总结与翻译一、主要内容该研究围绕大型语言模型(LLMs)的幻觉问题,构建了一个基于数学原理的统一框架,用于理解、量化和缓解幻觉现象。核心内容包括:幻觉分类:将幻觉分为内在幻觉(与输入上下文冲突)和外在幻觉(与外部验证源矛盾)两类,强调其在医疗、法律等高危场景中的风险。幻觉的数学根源:从三个维度解析幻觉成因——自回归误差传播(逐步积累的微小误差导致后续内容偏离事实)、KL散度衡量的分布不匹配(模型预测分布与真实分布差异)、正弦位置编码带来的相位效应(位置相位调制不确定性)。不确定性量化方法:提出多种精细化指标,包括校准误差(ECE)、蒙特卡洛 dropout 估算的认知不确定性、基于核语言熵(KLE)的语义不确定性,以及结合位置相位的振荡型不确定性。缓解策略:设计四类理论驱动的方法——相位正则化对比解码、检索增强接地(含 reciprocal rank fusion 融合策略)、事实感知对齐(训练中加入事实性正则项)、实时修正与弃权机制(生成后验证,低置信度时拒绝输出或重新生成),并整合为统一系统架构。系统架构:包含不确定性估算、相位正则化解码、检索接地、验证循环、训练对齐、自我反思修正六个核心环节,形成端到端解决方案。二、创新点数学统一框架:首次融