WebWalker社区贡献指南如何参与LLM网页遍历基准测试的开发作为开源项目WebWalker的核心贡献者您将有机会参与LLM大语言模型网页遍历基准测试的开发推动人工智能在复杂网页环境中的自主导航能力。本文将引导您完成从环境搭建到代码提交的完整流程帮助您快速融入社区并做出有价值的贡献。项目概述与贡献价值WebWalker是一个专注于评估LLM网页遍历能力的基准测试框架通过模拟真实用户在网页中的交互行为衡量模型的决策能力、多步骤推理和错误恢复能力。项目结构清晰包含多个功能模块和评估工具为研究者和开发者提供了全面的测试平台。主要贡献方向包括扩展基准测试数据集优化网页遍历算法改进评估指标开发可视化工具修复bug和文档完善参与贡献不仅能提升项目质量还能深入了解LLM与网页交互的前沿技术。官方文档README.md环境搭建与依赖安装准备工作克隆代码仓库git clone https://gitcode.com/gh_mirrors/we/WebWalker cd WebWalker创建虚拟环境conda create -n webwalker python3.10.0 conda activate webwalker安装依赖项目依赖管理通过requirements.txt文件维护包含了主要的Python库和工具pip install -r requirements.txt核心依赖包括qwen-agent提供智能代理框架beautifulsoup4网页解析工具streamlit可视化界面开发langchain语言模型集成工具详细依赖列表requirements.txt环境配置配置API密钥和系统参数cp .env.example .env # 编辑.env文件设置必要的API密钥需要配置的主要参数SERPER_KEY_ID用于网页搜索功能JINA_API_KEYS网页内容提取OPENAI_API_KEY模型调用密钥配置说明WebAgent/WebWalker/src/README.md核心模块与开发指南项目结构解析WebWalker项目采用模块化设计核心代码位于WebAgent/WebWalker/src目录下主要包括WebAgent/WebWalker/src/ ├── agent.py # 智能代理核心逻辑 ├── app.py # 应用入口 ├── evaluate.py # 评估工具 ├── prompts.py # 提示词模板 ├── rag_system.py # 检索增强系统 └── utils.py # 通用工具函数AI功能源码WebAgent/WebWalker/src/关键代码解析智能代理核心逻辑agent.py实现了WebWalker的核心代理逻辑采用ReAct范式进行网页遍历决策class WebWalker(FnCallAgent): This explorer agent use ReAct format to call tools def _run(self, messages: List[Message], lang: Literal[en, zh] en, **kwargs) - Iterator[List[Message]]: # 核心循环逻辑 while num_llm_calls_available 0: num_llm_calls_available - 1 # LLM调用与工具执行 has_action, action, action_input, thought self._detect_tool(\noutput[-1].content) if not has_action: if Final Answer: in output[-1].content: break else: continue # 工具调用与观察结果处理 observation self._call_tool(action, action_input, messagesmessages, **kwargs) stage1 self.observation_information_extraction(query, observation) if stage1: self.momery.append(stage1\n) stage2 self.critic_information(query, self.momery) if stage2: response fFinal Answer: {stage2} yield [Message(roleASSISTANT, contentresponse)] break源码位置WebAgent/WebWalker/src/agent.py提示词工程prompts.py定义了系统提示词模板指导LLM进行网页遍历决策SYSTEM_EXPLORER Digging through the buttons to find quality sources and the right information. You have access to the following tools: {tool_descs} Use the following format: Question: the input question you must answer Thought: you should always think about what to do Action: the action to take, should be one of [{tool_names}] Action Input: the input to the action Observation: the result of the action ... (this Thought/Action/Action Input/Observation can be repeated zero or more 20 times) Notice: - You must take action at every step. When you take action, you must use the tool with the correct format and output the action input. - When you can not find the information you need, you should visit page of previous page recursively until you find the information you need. - You can not say Im sorry, but I cannot assist with this request.!!! You must explore. - You do not need to provide the final answer, but you must explore. - Action Input should be valid JSON. Begin! {query} 提示词设计WebAgent/WebWalker/src/prompts.py开发规范代码风格遵循PEP 8规范提交信息使用清晰的提交信息格式为[模块] 简短描述测试要求新增功能需编写单元测试文档更新API变更需同步更新文档测试与评估运行演示程序WebWalker提供了演示程序可通过以下命令运行cd WebAgent/WebWalker bash scripts/run_demo.sh运行脚本WebAgent/WebWalker/scripts/run_demo.sh评估流程评估模块位于evaluate.py可对模型性能进行量化评估python evaluate.py --input_path [INPUT_PATH] --output_path [OUTPUT_PATH]评估工具WebAgent/WebWalker/src/evaluate.py评估指标包括任务完成率步骤效率信息准确率错误恢复能力评估结果可视化贡献流程与最佳实践贡献步骤Fork仓库并创建分支开发新功能或修复bug编写测试用例提交PR并描述变更内容参与代码审查常见贡献方向数据集扩展添加新的网页遍历场景算法优化改进决策逻辑和错误处理工具集成添加新的网页交互工具文档完善补充使用示例和开发指南性能优化提升系统运行效率社区资源问题追踪通过Issues提交bug报告和功能建议讨论区参与项目讨论和技术交流开发计划关注项目里程碑和路线图社区教程README.md高级功能与扩展RAG增强系统rag_system.py实现了检索增强生成功能提升长文本处理能力python rag_system.py --api_name all --output_path resultsRAG系统源码WebAgent/WebWalker/src/rag_system.py多模态支持WebWalker支持图像理解和交互可通过配置启用视觉功能# 在.env文件中启用视觉功能 ENABLE_VISIONtrue视觉处理模块WebAgent/WebWatcher/总结与展望WebWalker作为LLM网页遍历基准测试框架为研究者提供了全面的评估平台。通过参与贡献您可以深入了解大语言模型与网页交互的关键技术挑战同时推动AI自主导航能力的发展。未来发展方向多模态网页理解复杂动态页面交互长周期任务记忆多代理协作机制我们欢迎任何形式的贡献无论是代码、文档还是使用反馈都能帮助项目不断进步。加入WebWalker社区一起探索LLM网页遍历的无限可能资源与互动项目仓库https://gitcode.com/gh_mirrors/we/WebWalker问题反馈提交Issue描述您的问题贡献指南本文档详细介绍贡献流程如果您觉得本项目有价值请点赞、收藏、关注三连支持开源项目发展下期预告WebWalker高级功能实战教程。创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考