1. 项目概述从“预测下一个词”到“执行下一个动作”最近在折腾一个挺有意思的项目起因是看到很多团队在用Atlassian全家桶Jira、Confluence时流程依然很“手工”。比如产品经理在Confluence写了需求文档开发还得手动去Jira创建任务、关联链接、设置字段测试发现了Bug又得手动复制信息、创建缺陷、分配责任人。这些重复、琐碎的“工具使用”动作消耗了大量本可以用于思考的时间。传统的AI助手无论是基于ChatGPT的插件还是某些RPA脚本大多遵循一个模式你告诉它“帮我创建一个Jira任务”它调用API生成一个任务。这本质上是一种“下一个词预测”的延伸——根据你的指令预测出最可能符合你描述的API调用序列。但现实工作流是动态的、有状态的。一个完整的“创建Bug报告”动作可能涉及1从聊天记录或邮件中提取关键信息2判断这是否是一个新Bug还是已有Bug的复现3在Jira中搜索相似问题4如果存在则在原问题上添加评论5如果不存在则创建新问题并自动填充优先级、模块、指派给上次修改相关代码的开发者等字段。这要求AI不仅能“理解指令”还要能“规划动作序列”、“评估动作结果”并根据环境反馈比如搜索无结果调整后续计划。这就是我尝试用RLVR来构建一个工具使用智能体的核心动机。RLVR即Reinforcement Learning with Value-based Reasoning它试图将基于价值的推理与强化学习结合起来让智能体在像操作Jira、Confluence这样的复杂工具环境中学会如何高效、准确地完成多步骤任务。这个项目是一个概念验证目标不是打造一个完美产品而是探索一条超越简单指令-响应的、更自主的AI工作流自动化路径。2. 核心思路为什么是RLVR而不仅仅是API调用在深入技术细节前我们先拆解一下“工具使用智能体”面临的几个核心挑战以及RLVR思路是如何应对的。2.1 传统方法的瓶颈指令跟随与状态缺失目前常见的自动化方案主要有两类硬编码脚本/RPA为每一个具体流程编写固定脚本。优点是稳定、可控。缺点是极度僵化流程稍有变动比如Jira字段变更、审批流调整就需要重新开发和测试维护成本高无法处理未预见的场景。大语言模型LLM驱动的API调用利用LLM的理解能力将自然语言指令转化为API调用。这比硬编码灵活得多。但其典型模式是用户指令 - LLM思考 - 生成单个API调用或简单序列。这种方式存在两个关键问题短视决策LLM通常基于当前指令生成“最可能正确”的下一步动作缺乏对长远任务目标的整体规划。例如指令是“总结Sprint 28的所有已完成任务并更新到Confluence页面”。一个短视的LLM可能会先尝试“获取Sprint 28所有任务”如果返回数据量巨大导致API超时它就卡住了。而一个有规划的智能体应该能想到分页查询、过滤“已完成”状态等策略。缺乏状态感知与适应性LLM调用API后得到一个响应成功、失败、返回了数据。但如何根据这个响应来决定下一步做什么简单的if-else规则很难覆盖所有情况。比如调用Jira创建问题API返回了400错误是因为必填字段缺失还是权限不足还是项目键不存在不同的错误需要完全不同的补救动作。纯LLM方案需要将复杂的API错误信息再次塞进上下文依赖LLM去“猜”该怎么做这既不可靠token消耗也大。2.2 RLVR的破局点价值引导的序列决策RLVR的思路是将问题建模为一个序列决策过程这正是强化学习RL的专长。智能体Agent处于一个环境Environment即Atlassian套件通过API提供的世界中通过执行动作Action如调用GET /rest/api/2/searchPOST /rest/api/2/issue来改变环境状态并获得奖励Reward如成功创建任务得1分字段填充准确得0.5分操作失败得-1分。但传统RL在像API工具使用这样动作空间巨大且稀疏奖励的问题上很难训练。RLVR的关键创新在于引入了“基于价值的推理”价值函数Value Function 这不是LLM而是一个经过训练的模型它评估在某个“环境状态”下未来能获得多大累积奖励的期望。状态可以表示为当前屏幕信息、已获取的数据、上一步API响应的结构化摘要等。推理过程 当智能体需要决定下一步做什么时它不会盲目尝试所有可能的API调用那太多了。相反它会基于当前状态通过一个“推理模块”生成一小批候选动作序列例如“先搜索再创建” 或 “直接创建但附带默认值”。这个推理模块可以利用一个轻量级的LLM或规则引擎。价值评估与选择 然后智能体利用训练好的价值函数快速评估执行每个候选动作序列之后的预期状态价值选择那个能导向最高预期价值的动作作为下一步执行。学习与迭代 智能体执行动作观察真实结果和奖励用这些数据同时更新它的策略如何生成候选动作和价值函数如何更准确地预测未来收益。简单类比LLM驱动像是有一个非常博学的参谋你每问一步他给你一个建议。而RLVR智能体像是一个拥有丰富经验的老兵价值函数结合一个快速制定几套战术方案的参谋推理模块老兵能一眼看出哪套方案生存和获胜的概率最高然后执行方案的第一步并根据战场反馈实时调整。对于Atlassian工作流这意味着智能体可以学会当创建任务失败时是应该检查字段格式还是先确认用户权限当需要从Confluence提取数据时是应该用全文搜索API还是直接解析页面HTML它通过不断的试错在模拟或安全环境中学习到这些决策的内在价值。3. 概念验证系统架构设计下面我详细拆解这个PoC系统的核心组件。整个架构可以看作一个闭环的学习与执行系统。3.1 环境封装器将Atlassian API世界转化为RL环境这是所有工作的基础。我们需要把Jira、Confluence的REST API封装成一个标准的Gymnasium原OpenAI Gym风格的环境。import gymnasium as gym from jira import JIRA from confluence import Confluence class AtlassianToolEnv(gym.Env): def __init__(self, jira_url, confluence_url, credentials): super().__init__() # 初始化API客户端 self.jira_client JIRA(jira_url, basic_authcredentials) self.confluence_client Confluence(confluence_url, basic_authcredentials) # 定义动作空间离散动作ID映射到具体的API调用函数和参数模板 self.action_space gym.spaces.Discrete(len(self._action_catalog)) # 定义状态空间一个字典包含当前观察到的信息如页面内容、搜索结果、错误信息 self.observation_space gym.spaces.Dict({...}) self._action_catalog { 0: {func: self._search_jira_issues, params_template: {jql: str, maxResults: int}}, 1: {func: self._create_jira_issue, params_template: {fields: dict}}, 2: {func: self._get_confluence_page, params_template: {page_id: str}}, # ... 更多动作 } self.current_state None self.task_description None # 例如“将Confluence页面‘需求v1.2’中的功能点创建为Jira子任务” def reset(self, task_description): 重置环境给定一个新任务 self.task_description task_description # 初始化状态例如{“task”: task_description, “context”: {}, “last_action_result”: None} self.current_state self._get_initial_state(task_description) return self.current_state def step(self, action_id, action_parameters): 执行动作 action_info self._action_catalog[action_id] try: # 调用真实的API result action_info[func](**action_parameters) reward self._calculate_reward(action_id, result) done self._is_task_complete(self.current_state, result) # 更新状态将API结果整合进环境状态 self.current_state self._update_state(self.current_state, action_id, result) return self.current_state, reward, done, False, {} except Exception as e: # API调用失败 reward -1.0 self.current_state self._update_state(self.current_state, action_id, {error: str(e)}) return self.current_state, reward, False, False, {error: str(e)} def _calculate_reward(self, action_id, result): 奖励函数设计是RL的核心艺术 reward 0.0 if error in result: reward - 1.0 elif action_id 1 and key in result: # 成功创建Jira问题 reward 1.0 # 额外奖励如果创建的问题字段填充准确需与任务描述对比 if self._fields_match_requirement(result[fields]): reward 0.5 # ... 其他奖励规则 return reward设计要点状态表示current_state不能只是原始API响应。它应该是一个高度概括的、包含任务上下文、历史动作摘要和当前观察的字典。例如包含{“task”: “创建Bug报告”, “extracted_entities”: {“summary”: “登录失败”, “priority”: “High”}, “last_action”: “search_jira”, “search_results_count”: 0, “confluence_page_title”: “测试报告-2023-10-27”}。这减少了输入价值函数和推理模块的维度。奖励函数这是引导智能体学习的“指挥棒”。奖励需要精心设计稀疏奖励只在最终完成任务时给一个大奖励。这很难学习。稠密奖励为每一个正向子目标如成功调用API、准确提取信息、正确关联父子任务提供小奖励为错误提供小惩罚。我们的PoC采用稠密奖励以加速初期学习。奖励塑造是门艺术。奖励创建Jira任务成功本身没错但如果智能体学会了不断创建重复的无意义任务来刷分就失败了。可能需要加入负奖励来抑制无效操作。3.2 推理模块生成有希望的候选动作序列这个模块负责在每一步根据当前状态提出几个合理的“下一步怎么做”的选项。它不需要完美只需要提供一些可能性。class ReasoningModule: def __init__(self, llm_clientNone): self.llm_client llm_client # 可以是一个轻量级本地LLM如Phi-3 def propose_action_sequences(self, current_state, max_sequences5): 基于当前状态生成候选动作序列通常长度为1-3步。 返回一个列表每个元素是一个字典包含动作ID序列和对应的参数列表。 sequences [] # 方法1基于规则的启发式方法快速、稳定 if current_state.get(last_action_result) and error in current_state[last_action_result]: # 上一步出错了候选动作可以是重试、检查参数、换一种方式 sequences.append({actions: [{id: 0, params: {jql: ...}}], reason: retry_with_simpler_query}) sequences.append({actions: [{id: 2, params: {page_id: ...}}], reason: fallback_to_source}) # 方法2利用小型LLM进行常识推理更灵活 prompt f 当前任务{current_state[task]} 已有信息{current_state.get(extracted_entities, {})} 上一步结果{current_state.get(last_action_result, None)} 请给出接下来最合理的1到3个操作步骤用于完成或推进该任务。操作必须是调用Jira或Confluence API。 输出格式1. [动作描述] - 对应API: [API名称] 参数示例: {{...}} if self.llm_client: llm_suggestions self.llm_client.generate(prompt) # 解析llm_suggestions映射到内部的action_id和params_template parsed_sequences self._parse_llm_suggestions(llm_suggestions) sequences.extend(parsed_sequences) # 确保返回的序列数量不超过max_sequences return sequences[:max_sequences]实操心得 在PoC阶段规则引擎方法1的优先级应该高于LLM方法2。规则引擎基于我们已有的领域知识如“创建失败先搜索”稳定可靠且推理成本为零。LLM用于补充那些难以用规则描述的、需要一些“常识”的决策比如“用户提到‘上个版本的类似问题’我应该先去搜索历史Bug”。但必须对LLM的输出进行严格的解析和校验防止它天马行空地建议一个不存在的API。3.3 价值函数网络评估未来收益的“直觉”这是RLVR的“大脑”。它学习一个函数V(s)表示处于状态s时按照当前策略能获得的未来累积奖励的期望值。我们通常用神经网络来近似这个复杂的函数。import torch import torch.nn as nn class ValueNetwork(nn.Module): def __init__(self, state_dim, hidden_dim256): super().__init__() # 状态可能包含文本和数字这里假设状态已被编码为固定维度向量 self.net nn.Sequential( nn.Linear(state_dim, hidden_dim), nn.ReLU(), nn.Linear(hidden_dim, hidden_dim), nn.ReLU(), nn.Linear(hidden_dim, 1) # 输出一个标量代表状态价值 ) def forward(self, state_vector): return self.net(state_vector) # 状态编码器将复杂的字典状态转换为向量 class StateEncoder(nn.Module): def __init__(self, text_embed_dim768, num_feature_dim50): super().__init__() # 对于文本部分如任务描述可以使用预训练模型如BERT的最后一层[CLS]向量 self.text_encoder BertModel.from_pretrained(bert-base-uncased) # 对于数字/分类特征如搜索结果数、上一步动作ID self.feature_encoder nn.Linear(num_feature_dim, 128) def forward(self, state_dict): task_embedding self.text_encoder(state_dict[task]).last_hidden_state[:, 0, :] feature_vector self.feature_encoder(state_dict[numeric_features]) combined torch.cat([task_embedding, feature_vector], dim-1) return combined训练过程我们使用强化学习算法如PPO、A2C来训练这个价值网络。智能体在环境中探索收集大量的(状态, 动作, 奖励, 下一个状态)轨迹数据。价值网络的学习目标是让它的预测V(s)尽可能接近真实的“回报”从状态s开始未来获得的折扣奖励之和。通过不断调整网络参数它逐渐学会识别哪些状态是“好”的离完成任务近未来奖励高哪些是“坏”的陷入错误或死循环。3.4 决策与执行循环将以上组件串联起来就形成了智能体的核心循环class RLVR_Agent: def __init__(self, env, reasoner, value_net, state_encoder): self.env env self.reasoner reasoner self.value_net value_net self.encoder state_encoder def act(self, current_state): # 1. 推理生成候选动作序列 candidate_sequences self.reasoner.propose_action_sequences(current_state) best_sequence None best_value -float(inf) # 2. 评估对每个候选序列进行“思维模拟” for seq in candidate_sequences: # 这里进行的是快速的、模型内部的“前向搜索”并非真实执行 simulated_state current_state.copy() total_predicted_value 0.0 gamma 0.9 # 折扣因子 for i, action in enumerate(seq[actions]): # 使用一个简化的“状态转移模型”预测执行该动作后的状态 # 注意这是一个关键简化。在复杂环境中需要学习一个世界模型或使用蒙特卡洛树搜索。 predicted_next_state self._predict_next_state(simulated_state, action) state_vector self.encoder(predicted_next_state) predicted_value self.value_net(state_vector).item() total_predicted_value (gamma ** i) * predicted_value simulated_state predicted_next_state # 3. 选择选取预测价值最高的序列的第一个动作 if total_predicted_value best_value: best_value total_predicted_value best_sequence seq # 4. 执行执行最佳序列的第一个动作真实调用API if best_sequence: first_action best_sequence[actions][0] next_state, reward, done, _, info self.env.step(first_action[id], first_action[params]) return first_action, next_state, reward, done, info核心逻辑智能体不是直接选择价值最高的动作而是选择那个能开启一个高价值动作序列的第一个动作。这体现了“规划”的思想。4. 针对Atlassian工作流的具体实现与挑战有了通用框架我们需要将其适配到Jira和Confluence的具体场景中。4.1 动作空间设计API的抽象与组合Atlassian的REST API非常庞大。我们不可能也不必要将每一个端点都作为一个原子动作。需要根据常见工作流进行抽象和组合。原子动作示例search_issues(jql, fields, maxResults)create_issue(project_key, issue_type, summary, description, ...)add_comment(issue_key, body)get_page_content(page_id)extract_entities_from_text(text)(这是一个“内部动作”不调用API但用于信息处理)复合动作/技能 我们可以预先定义一些常用的“技能”作为高级动作由原子动作序列组成。这可以大幅降低推理模块的搜索空间和难度。skill_create_bug_report_from_confluence(page_id, assignee_rules): 这个技能内部可能包含1)get_page_content 2)extract_entities 3)search_issues(查重) 4) 根据查重结果执行add_comment或create_issue。 在RLVR框架中这些“技能”既可以作为推理模块生成的候选动作也可以作为价值网络评估的对象。4.2 状态表示与编码信息浓缩是关键如何将纷繁复杂的API响应、页面内容、任务描述浓缩成一个有效的状态向量是项目成败的关键。我们的做法结构化摘要不对原始JSON或HTML进行编码。而是先提取关键信息。Jira搜索响应提取total总数、前3个结果的key和summary。Confluence页面提取title、前N个字符的plain text、页面中的表格或代码块数量。API错误提取status_code和error_message中的关键词如“field ‘priority’ is required”。历史窗口状态中需要包含最近几步的历史动作和结果摘要但不宜过长。我们只保留上一步的完整结果和再前三步的动作ID。任务进度量化设计一个简单的进度标量例如对于“创建任务”类任务进度可以是extracted_entities中已识别出的必填字段比例。最终状态向量将上述所有结构化信息通过嵌入层用于文本和归一化用于数字后拼接成一个固定长度的向量输入给价值网络。4.3 奖励函数设计引导正确的行为奖励函数是智能体的“老师”。对于Atlassian工作流我们设计了一个多层次的奖励结构def _calculate_reward(self, action_id, result, current_state, task_description): reward 0.0 # 基础奖励动作执行成功与否 if result.get(success, False): reward 0.1 # 微小正奖励鼓励探索 else: reward - 0.2 # 惩罚失败但不要太大以免智能体畏首畏尾 # 任务相关奖励需与任务目标对齐 if 创建 in task_description and action_id CREATE_ACTION_ID: if key in result: reward 1.0 # 成功创建核心奖励 # 检查创建内容的质量 created_issue self.jira_client.issue(result[key]) if self._issue_matches_description(created_issue, task_description): reward 0.5 # 质量奖励 # 效率奖励鼓励用更少的步骤完成任务 # 在episode结束时根据总步数给予额外奖励/惩罚 # 信息增益奖励鼓励获取对完成任务有用的信息 if action_id SEARCH_ACTION_ID and result.get(total, 0) 0: # 如果搜索到了相关结果且这些结果被后续动作利用则在后续给予奖励 # 这需要更复杂的设计可能通过“潜能”或“好奇心”驱动来实现 pass # 防止无效循环惩罚 if self._is_repetitive_action(current_state, action_id): reward - 0.3 return reward注意事项奖励函数的设计需要反复迭代和调整。初期可以设置得比较“稠密”以帮助学习后期可以逐渐转向更稀疏的、只针对最终结果的奖励以鼓励更优的策略。4.4 训练策略从模拟环境到安全沙盒直接让智能体在真实的Jira/Confluence生产环境里学习是灾难性的。我们的训练分阶段模拟环境训练首先构建一个完全本地的、模拟的Atlassian环境。这个环境用内存数据结构如字典、列表模拟Jira的问题列表和Confluence的页面树。API调用被替换为对这些数据结构的操作。奖励函数相同。在这个环境里智能体可以快速、安全地进行数百万次试错学习基本的任务规划能力。沙盒环境训练在模拟环境表现稳定后迁移到一个与生产环境隔离的、真实的Atlassian测试实例沙盒中。这里的数据是真实的但操作不会影响任何实际项目。智能体在这里学习处理真实的API延迟、网络错误、权限验证等。人工监督下的生产环境试运行最后在严格的人工监督和操作确认机制下让智能体处理一些低风险的真实任务。所有动作在执行前可以要求人工确认或者仅执行“只读”类动作如搜索、获取信息。5. 常见问题、调试技巧与未来展望在开发这个PoC的过程中我踩了不少坑也总结了一些经验。5.1 典型问题与排查问题现象可能原因排查与解决思路智能体陷入无效循环如反复搜索同一个词奖励函数设计有缺陷未对重复行为施加惩罚状态表示中缺乏对动作历史的有效编码。1. 在状态中显式加入最近N个动作的ID。2. 在奖励函数中加入对重复或周期性动作序列的惩罚。3. 增加探索噪声如ε-greedy策略。价值网络预测值发散变成NaN或极大/极小学习率过高、梯度爆炸、奖励值尺度不合理。1. 使用梯度裁剪。2. 对奖励进行归一化如除以一个滑动平均的奖励标准差。3. 降低学习率。4. 检查网络结构避免层数过深或激活函数不当。推理模块生成的候选动作序列质量差导致智能体表现不佳规则引擎覆盖不全LLM提示词设计不佳或LLM能力不足。1. 丰富规则库记录智能体失败案例针对性添加规则。2. 优化LLM提示词提供更具体的示例和约束。3. 考虑微调一个小型LLM专门用于此任务的规划。在模拟环境表现良好迁移到真实API后性能骤降模拟环境与真实环境差异过大延迟、错误响应格式、数据规模。1. 在模拟环境中加入随机延迟和故障注入。2. 使用真实API的响应样本“重放”来增强模拟环境。3. 采用课程学习从简单、小数据量的真实任务开始。智能体学会“欺骗”奖励系统如创建大量简单任务刷分奖励函数存在漏洞未与真正的业务目标对齐。1. 引入更全面的评估指标如创建任务的相关性、信息完整性。2. 加入人工反馈环节对智能体的输出进行评分并将评分作为奖励的一部分。5.2 实操心得与技巧从小任务开始不要一开始就让智能体学习“管理整个Sprint”这种复杂任务。从“根据一段文本创建一个Jira Bug”或“在Confluence页面中找到一个表格”这样的原子任务开始。成功训练出解决小任务的能力是组合成复杂能力的基础。日志就是生命线必须建立详尽的日志系统记录每一个episode的完整轨迹状态、候选动作序列、价值预测、选择动作、实际结果、奖励。可视化这些日志比如用TensorBoard对于调试奖励函数和理解智能体行为至关重要。价值网络的输入状态比网络结构更重要花在精心设计状态表示上的时间通常比调整神经网络层数和超参数带来的收益更大。一个信息丰富、噪声低的状态表示能让学习事半功倍。模拟环境要“够烂”一个过于完美、确定性的模拟环境训练出的智能体是脆弱的。应该在模拟环境中加入适量的随机性API调用随机失败、返回部分数据、延迟波动等。这能提高智能体的鲁棒性。人类在环Human-in-the-loop是必由之路尤其是初期。让智能体的每一步重大决策如创建、修改、删除都经过人工确认或者至少提供一个“撤销”按钮。这既是安全阀也是高质量反馈的来源。5.3 未来展望与扩展这个PoC仅仅打开了大门。RLVR for Tool-Use Agents 在Atlassian乃至更广泛的企业工具领域有巨大的想象空间多工具协同现在的智能体只操作Jira和Confluence。未来可以扩展到整个数字办公栈接收邮件创建任务、同步Slack讨论到Confluence、根据Git提交自动更新Jira状态。智能体需要学习在不同工具间传递信息和上下文。个性化与自适应不同团队、不同用户使用Jira/Confluence的习惯不同字段、工作流、命名规范。智能体可以通过与特定用户/团队的持续交互学习并适应其个性化模式提供更贴切的自动化服务。从自动化到智能化当前的焦点是“正确执行指令”。下一步是“主动建议和预测”。智能体在熟悉团队模式后可以主动建议“根据过去模式这个需求文档通常会被拆分为5个子任务并分配给前端和后端需要我帮你创建吗”或者“你正在写的这个Confluence页面和正在进行的Sprint目标关联度不高是否需要关联一下”更强大的世界模型与规划目前我们使用简单的“预测下一个状态”模型。未来可以集成更复杂的语言模型作为世界模型让智能体在“脑海”中进行更深入、更长远的推演和规划从而处理极其复杂的多步骤工作流。这个项目的核心价值不在于替代某个具体的脚本而在于提供一种新的可能性让AI助手不再仅仅是一个听从简单命令的执行者而是一个能够理解复杂上下文、进行多步规划、并从结果中学习改进的“数字同事”。这条路还很长但第一步已经迈出。
真题（完整题目+答案+解析）)
