PlanU: Large Language Model Reasoning through Planning under Uncertainty 文章核心内容总结该研究针对大语言模型(LLMs)在不确定性环境下决策能力不足的问题,提出了基于蒙特卡洛树搜索(MCTS)的规划方法PlanU。核心是通过分位数分布建模MCTS节点的回报,结合好奇心增强的上置信界(UCC)分数平衡探索与利用,同时解决LLM自身随机性(生成不确定性)和环境随机性(状态转移不确定性)两大挑战。实验在Blocksworld、Overcooked等5个基准测试中验证了PlanU的优越性,其性能显著优于CoT、ToT、RAP等主流方法。创新点分位数分布建模回报:将MCTS节点的回报建模为分位数分布而非均值,精准捕捉决策过程中的不确定性(分布偏斜度反映不确定性高低)。UCC分数平衡探索利用:融合价值分布与状态新颖性设计UCC分数,通过文本编码器降低LLM描述不确定性影响,利用神经网络预测差异计算好奇心奖励。统一处理两类不确定性:同时解决LLM生成随机性(如幻觉、描述不一致)和环境转移随机性(如动作失败、多可能状态),适配多步交互类任务。翻译部分(Markdown格式)Abstract(摘要)大型语言模型(LLMs)正被广泛应用于各类推理任务,但在人类相对容易应对的不确定性场景下(如随机环境中的动作规划),LLMs有时仍会陷入困境。LLM在推理任务中的应用受限于两类不确定性挑战:LLM自身不确