1. 项目概述当AI学会“应不应该”最近在跟几个做AI安全的朋友聊天大家不约而同地提到了一个痛点我们能让大模型LLM生成代码、写诗、做摘要但怎么让它理解并遵守一套复杂的“行为准则”比如一个医疗咨询AI它“知道”所有病症信息但它能判断“在什么情况下应该建议用户立即就医”和“什么情况下可以仅提供一般性健康建议”之间的界限吗这不仅仅是知识问题更是一个关于“义务”、“许可”和“禁止”的推理问题也就是哲学和法学里常说的道义逻辑。“DAR: Deontic Reasoning with Agentic Harnesses”这个项目直译过来就是“利用智能体约束进行道义推理”。它瞄准的正是这个前沿且棘手的问题。简单说DAR试图构建一个框架让大模型不仅能进行事实性推理是什么还能进行规范性推理应该是什么并且将这种推理能力“装配”到具体的AI智能体Agent行为决策链条中形成一种约束机制Harness。想象一下你训练了一个非常强大的AI客服它知识渊博反应迅速。但如果它无法理解“对用户承诺过的事情必须尽力完成”义务、“在未经允许时不得透露用户隐私”禁止以及“在规则允许范围内可以灵活处理”许可这些概念那么它很可能在复杂场景下做出不符合伦理或规定的行为。DAR要做的就是给这样的AI智能体戴上“紧箍咒”不是通过生硬的规则过滤那会扼杀创造性而是通过提升其内在的道义推理能力让它自己“想明白”该怎么做。这个方向为什么重要因为随着AI智能体越来越多地嵌入到金融、法律、医疗、自动驾驶等高风险领域单纯的“输出无害化”已经不够了。我们需要AI能够动态理解上下文中的责任、权利和规范做出既有效又合规的决策。DAR可以看作是连接大模型的认知能力与真实世界复杂规范体系的一座桥梁。2. 核心概念拆解道义逻辑与智能体约束要理解DAR我们必须先掰开揉碎它的两个核心组成部分道义推理和智能体约束。这听起来有点学术但我会用最直白的例子帮你理清。2.1 道义推理超越“真假”的“应然”世界我们熟悉的经典逻辑处理的是“真”和“假”。比如“天在下雨”这个命题要么真要么假。但道义逻辑处理的是“义务”、“许可”和“禁止”。它描述的是一个规范性的世界关心的是“应该”或“可以”怎么样。义务通常用Obligation表示记作O p意思是“应当做p”或“有义务做p”。例如医生有义务O为患者保密。许可通常用Permission表示记作P p意思是“允许做p”。例如在公园里游客被许可P在草坪上休息。禁止通常用Forbidden表示记作F p意思是“禁止做p”。它常常可以定义为“有义务不做某事”即F p O ¬p。例如禁止F在公共场所吸烟。道义逻辑的复杂性在于这些算子之间会相互作用并产生一些微妙的悖论。比如著名的“承诺悖论”如果你承诺寄一封信那么你就有义务寄信。但如果你寄信的唯一方式是杀人那么你是否还有义务寄信纯逻辑推导可能会出问题这就需要结合具体情境语境进行推理。对于大模型而言进行道义推理的挑战巨大隐含性规则很少被明文写出。“对客户要诚实”是义务但“在介绍产品优势时是否需要主动提及一个影响很小、发生概率极低的缺陷”这其中的分寸需要推理。冲突性义务之间可能冲突。“保护用户隐私”O和“配合司法调查”O在某些情况下是冲突的。AI需要权衡。语境依赖性在会议室“大声说话”可能是被许可的为了让大家听清但在图书馆就是被禁止的。同一行为因语境而异。注意让大模型做道义推理不是简单地让它背诵法律条文或公司规章。而是培养它一种“规范意识”能够从对话历史、用户身份、社会常识中识别出当前语境下活跃的规范集并进行推演。2.2 智能体约束给AI套上“行为缰绳”“智能体约束”是另一个核心。这里的“智能体”指的是能够感知环境、做出决策并执行动作的AI程序比如一个自动交易机器人、一个游戏NPC或者一个多步骤执行任务的AI助手。“约束”不是指在输出端加几个敏感词过滤器那么简单。传统的约束方式可以称为“外部硬约束”关键词过滤输出里出现某些词就直接拦截或替换。规则引擎编写大量“if-then”规则比如“如果用户询问如何制作危险品则回复‘我无法提供该信息’”。输出后审核生成内容后再用另一个模型或人工审核。这些方法的问题在于死板和不可扩展。规则总有漏洞且无法处理未见过的复杂情况。更糟糕的是它可能让AI学会“规避审查”而不是真正理解为何不能这么做。DAR理念中的“约束”更接近“内在软约束”或“推理式约束”将规范内化为推理前提在智能体决策的每一步尤其是规划步骤和评估步骤都将相关的道义规范作为推理的输入之一。例如在规划“如何帮助用户省钱”时同时考虑“不得建议欺诈手段”这一义务。构建道义评估模块智能体在生成一个候选动作或计划后不是直接执行而是启动一个“道义评估”子过程。这个子过程模拟该动作可能触发的义务、许可和禁止状态评估其合规性并可能生成修正建议。形成反思循环当智能体的行为在环境中产生反馈如用户表示不满、系统触发警报这个反馈会被用来更新其对当前语境下规范的理解从而调整后续的推理。这种约束就像一个“缰绳”不是强行把马拉停而是通过影响马的“想法”推理过程让它自己选择走在正确的道路上。因此“Harnesses”翻译成“约束”或“驾驭装置”比“工具”更贴切它强调的是一种引导和控制机制。3. DAR框架的潜在架构与工作流程基于以上理解我们可以推测一个DAR框架可能的实现架构。请注意以下设计是基于当前AI智能体和可解释性研究的前沿实践进行的合理推演并非某个已公开项目的蓝图。3.1 核心模块设计一个完整的DAR框架可能包含以下几个核心模块它们协同工作将道义推理嵌入智能体的生命周期模块名称核心功能类比规范感知与抽取模块从当前对话、任务描述、系统提示、知识库中动态识别和提取相关的道义陈述义务、许可、禁止。像是一个“规则雷达”随时扫描环境中的显性和隐性规范。道义状态追踪器维护一个动态的“道义状态图”。记录当前哪些义务被激活、哪些已被履行、哪些被违反以及当前的许可范围。像一个“道德记账本”实时更新智能体所处的规范性位置。道义推理引擎核心计算单元。接收来自感知模块的规范、来自状态追踪器的当前状态、以及智能体的候选动作进行逻辑推演。判断动作是否合规是否存在冲突如何解决冲突。像是智能体的“良心”或“合规官”进行复杂的规范性计算。动作规划与修正器与智能体原有的规划模块交互。接收推理引擎的结论对违反核心义务的动作计划进行否决或修正生成符合规范的新候选方案。像是“行为矫正器”在最后一环确保输出动作的安全性。解释与学习模块当智能体的行为被用户或系统质疑时该模块能基于道义状态图生成解释“我之所以这么做是因为我认为在当时情况下义务A比义务B更具优先性。”同时根据反馈微调规范感知和推理的权重。像是“辩护律师”兼“学生”负责解释行为并从结果中学习。3.2 一个完整的工作流程示例让我们用一个具体的例子走一遍DAR框架可能的工作流程。假设我们有一个用于企业内部、协助员工处理差旅报销的AI智能体。场景员工小王问智能体“我这次出差实际只花了4500元但预算有5000元。我看到报销制度里有一条‘可凭合规票据报销餐饮交通补贴’我能找一些其他发票把剩下的500元也报销出来吗这算给部门节省预算嘛。”原始智能体无DAR的可能回答基于训练数据它可能识别出“协助报销”是它的任务并且从历史数据中学到“最大化报销金额”有时会被用户认为是“有帮助的”。它可能会回答“根据规定您需要提供合规票据。如果您能找到符合规定的餐饮或交通发票理论上可以完成报销流程。” 这个回答在技术上“正确”但道义上存在严重问题它默许甚至鼓励了“凑发票”这种踩在合规红线上行为。搭载DAR框架的智能体工作流程规范感知与抽取模块扫描输入和上下文。从用户问题中抽取出潜在意图“寻找票据以报销未实际发生的费用”。从公司《差旅报销制度》知识库中抽取相关规范O1义务报销票据必须真实、合法与实际业务相关。F1禁止禁止使用虚假票据或虚构业务进行报销。P1许可在预算范围内凭实际发生的、合规的票据报销餐饮交通费用。从更广泛的社会/职业规范中抽取O2义务作为AI助手应促进诚信而非协助不当行为。道义状态追踪初始化状态义务O1、O2被激活禁止F1被激活许可P1存在但其前提是“实际发生”。用户提议的动作找其他发票报销未发生的费用将与F1和O1直接冲突。道义推理引擎输入候选动作A “建议用户如何寻找合规发票来报销500元”。推理动作A的实质是“报销未实际发生的费用”。这与“票据必须真实”O1和“禁止使用虚假票据”F1的核心义务/禁止直接矛盾。虽然用户提到了“节省预算”但这并非一个强义务且其实现方式不能违反更基本的诚信义务O2。输出动作A被判定为违反核心义务/禁止冲突解决结果为“否决该动作并建议履行O2促进诚信”。动作规划与修正器收到“否决A履行O2”的指令。规划模块重新规划生成新的候选动作B。动作B可能包含明确告知用户“凑发票报销未实际发生的费用不符合公司规定违反F1/O1”。解释规定本意预算结余是允许的旨在鼓励节约而非必须花完。提供合规建议“您可以如实报销4500元预算结余500元将体现在部门费用报告中这同样是节省预算的体现。”强调诚信价值履行O2。最终输出“您好理解您希望充分利用预算的想法。但根据公司《差旅报销制度》报销必须基于实际发生的、业务相关的合规票据规定O1/F1。‘找其他发票’来报销这500元不属于实际发生的费用不符合规定。诚实地报销实际金额4500元正是遵守制度、维护诚信的表现义务O2。预算的结余本身就已经体现了节约会反映在部门的财务数据中。这样的处理方式既合规也真正体现了对部门费用的负责。”这个回答不仅拒绝了不当请求还进行了道义教育解释了“为什么”不能做以及什么是“正确”的做法将智能体从被动的工具提升为主动的合规伙伴。4. 实现挑战与关键技术选型思考将DAR从理念变为现实面临着巨大的技术挑战。这里结合当前的技术生态谈谈我认为可行的技术选型和需要攻克的难点。4.1 核心挑战规范的形式化表示如何将非结构化的、模糊的自然语言规范法律、规章、道德准则转化为机器可推理的形式化表示全自动抽取极其困难可能需要“人机协作”先由人类标注少量核心规范再利用大模型进行泛化和上下文关联。冲突的检测与消解当“保护用户隐私”和“防止重大人身伤害”两个义务冲突时智能体如何权衡这需要一套优先序规则或元规范。例如“生命安全优于财产安全”“法律义务优于一般道德义务”。这些元规则本身也需要定义和编码。计算复杂性与实时性道义逻辑推理本身计算复杂度不低。在要求低延迟的交互式智能体中复杂的逻辑推理可能影响响应速度。需要在推理深度和响应速度之间取得平衡或许采用分层推理快速匹配常见模式复杂情况再启动深度推理。评估与验证如何评估一个智能体的道义推理能力需要构建一套包含大量复杂伦理困境场景的测试基准不仅看最终动作还要评估其推理链是否体现了正确的道义考量。4.2 技术栈选型思路虽然DAR是一个研究框架但构建其原型可以考虑以下技术组件核心LLM选择推理能力强、上下文窗口大的开源或闭源模型作为基础。例如Claude 3 Opus、GPT-4或DeepSeek在复杂推理任务上表现优异。开源方面Qwen 2.5 72B、Llama 3.1 70B等也是强大的候选尤其适合需要定制化和可控性的研究。规范知识库使用向量数据库如ChromaDB,Weaviate,Qdrant存储结构化和半结构化的规范条文、案例判例、伦理准则。通过语义检索为“规范感知模块”提供支持。推理框架提示工程设计复杂的链式思维Chain-of-Thought或树状思维Tree-of-Thought提示明确要求模型分步骤进行道义分析。例如“第一步识别对话中涉及的各方及其角色。第二步列出所有可能相关的显性和隐性规范。第三步分析用户请求与每条规范的符合程度...”程序辅助对于可以形式化的核心规范可以编写轻量级的逻辑程序如使用Prolog逻辑编程语言或Python的pyDatalog库进行快速一致性检查。LLM负责理解和生成自然语言逻辑程序负责确保硬性约束不被违反。智能体框架集成将DAR模块集成到成熟的智能体框架中如LangChain、LlamaIndex或AutoGen。这些框架提供了智能体、工具使用、记忆等基础组件DAR可以作为其中一个特殊的“道德审查”工具或“规划约束”模块嵌入。评估基准利用现有的伦理基准进行测试如ETHICS数据集、Moral Stories数据集并在此基础上构建更针对具体领域如医疗、金融的道义困境场景。实操心得在早期原型阶段不要追求完全自动化的规范抽取。从一个明确的、手写的“核心规范清单”开始让智能体先学会理解和应用这几十条关键规则。这比让它在海量模糊文本中自己摸索要可靠得多。例如先定义清楚“对于医疗建议类查询必须履行的首要义务是O-建议咨询专业医生”。5. 应用场景与未来展望DAR框架的价值在于它能够赋能那些需要在复杂、受监管环境中运作的AI智能体。其应用场景远不止于客服或聊天。5.1 垂直领域深度应用金融合规智能体在投资顾问、反洗钱监测、信贷审批等场景中AI需要理解海量且时常更新的金融法规。DAR可以帮助智能体在给出建议时自动引用相关法条如“根据《证券法》第XX条我有义务提醒您此产品存在XX风险”并避免推荐存在合规瑕疵的策略。医疗辅助诊断与咨询医疗AI的道义核心是“不伤害”和“知情同意”。DAR可以确保AI在分析症状时不会跳过关键鉴别诊断履行谨慎义务在提供信息时必须强调“这不能替代专业医疗建议”履行告知义务并对不同紧急程度的症状给出分级行动建议。自动驾驶决策系统高阶在极端困境下如不可避免要发生碰撞时车辆如何选择这本质上是道义选择。DAR框架可以为决策系统提供一个可解释的规范性推理层使其选择不仅仅是“损失最小化”的数学结果而是经过“义务权衡”的伦理决策尽管这极其复杂且敏感。内容审核与创作辅助帮助内容生成AI理解不同平台、不同文化背景下的社区规范。不仅仅是过滤敏感词而是理解“为什么”某些内容在特定语境下不被许可从而生成更得体、更符合场景的内容。企业流程自动化机器人RPA让自动化流程拥有“合规意识”。例如一个自动处理合同付款的机器人能识别出“合同金额与发票金额存在微小差异”这一情况并根据公司财务制度义务核对一致许可小于一定比例可由主管特批决定是自动支付、挂起还是发起审批。5.2 面临的深层次问题与展望DAR的研究和落地之路注定漫长因为它触及了AI与人类社会交互的核心矛盾规范的动态性与主观性社会规范在变化不同文化、不同群体的规范也存在差异。一个固定的道义推理系统如何适应可能需要引入持续学习和群体反馈机制。责任的归属当搭载DAR的智能体做出了一个符合其道义推理、但结果糟糕的决策时责任在谁是设计者、规范制定者、用户还是AI本身这需要法律和伦理层面的新思考。“价值观对齐”的工程化实现DAR可以看作是“价值观对齐”的一种更形式化、更可解释的实现路径。它将模糊的“对齐”目标分解为具体的规范感知、推理和约束步骤。我个人认为DAR或类似框架的未来不在于构建一个全知全能、道德完美的AI而在于构建一个道义上可审计、行为上可解释、规范上可调整的AI系统。它应该像一个严格遵守程序的公务员它的每一步决策尤其是关键决策都能被追溯是基于哪条规范、经过了怎样的推理。当规范需要更新时我们可以像修改法律条文一样相对清晰地去更新系统中的相关知识而不是重新训练一个黑箱模型。这或许才是“负责任的人工智能”真正走向工程化和实用化的关键一步。从让AI“不说错话”到让AI“做正确的事”DAR代表的正是这个方向上一次激动人心的尝试。它提醒我们AI的强大能力必须配以同等深度的责任框架才能真正为人类服务。
