Fara1.5-27B API完全手册12种核心工具调用与Python集成示例【免费下载链接】Fara1.5-27B项目地址: https://ai.gitcode.com/hf_mirrors/microsoft/Fara1.5-27BFara1.5-27B是由Microsoft Research AI Frontiers开发的多模态计算机使用代理CUA专为Web浏览器设计。它通过截图观察浏览器并通过发出结构化工具调用如点击、输入、滚动等代表用户执行操作实现端到端任务完成。本手册将详细介绍其12种核心工具调用方法及Python集成示例帮助开发者快速上手这一强大的AI代理。核心功能与优势Fara1.5-27B作为一款先进的Web自动化工具具备以下显著特点端到端Web任务完成能够填写表单、预订服务、申请工作、规划旅行、管理购物车等不仅是简单的点击操作而是朝着目标有序执行一系列动作。纯视觉感知仅依靠截图运行无需访问DOM与人类用户的输入方式一致。坐标定位动作直接预测像素级别的点击和拖动目标无需单独的定位模型。安全设计在输入个人信息、付款、提交、登录、发送消息或其他不可逆操作前会停止并询问用户即使技术上可以继续。超长上下文262K的上下文长度足以容纳带有完整动作历史的多截图轨迹。环境准备与安装系统要求torch 2.11.0transformers 5.2.0vllm 0.19.1足够内存的GPU集A6000、A100、H100和B200已测试建议至少在2个GPU上分片模型。模型部署使用vLLM部署Fara1.5-27B的命令如下vllm serve microsoft/Fara1.5-27B \ --dtype bfloat16 \ --max-model-len 262144 \ --limit-mm-per-prompt image1012种核心工具调用详解Fara1.5-27B通过tool_call.../tool_callXML块发出动作其中包含调用computer_use函数的JSON对象。支持的12种核心动作如下鼠标操作类left_click、right_click、double_click、triple_click用途在(x, y)坐标处执行鼠标点击操作参数x横坐标、y纵坐标示例tool_call{name: computer_use, arguments: {action: left_click, x: 500, y: 300}}/tool_callmouse_move、left_click_drag用途光标定位和拖动操作参数x目标横坐标、y目标纵坐标拖动操作还需end_x和end_y示例tool_call{name: computer_use, arguments: {action: left_click_drag, x: 100, y: 200, end_x: 300, end_y: 400}}/tool_call键盘操作类type用途键盘输入文本参数text要输入的文本内容示例tool_call{name: computer_use, arguments: {action: type, text: hello world}}/tool_callkey用途按下特定按键参数key按键名称如Enter、Tab、Backspace等示例tool_call{name: computer_use, arguments: {action: key, key: Enter}}/tool_call页面导航类scroll、hscroll用途页面滚动操作scroll为垂直滚动hscroll为水平滚动参数distance滚动距离正值向下/向右负值向上/向左示例tool_call{name: computer_use, arguments: {action: scroll, distance: 500}}/tool_callvisit_url、history_back用途浏览器导航visit_url跳转到指定URLhistory_back返回上一页参数url目标URL仅visit_url需要示例tool_call{name: computer_use, arguments: {action: visit_url, url: https://www.example.com}}/tool_call任务交互类web_search用途执行网络搜索参数query搜索查询词示例tool_call{name: computer_use, arguments: {action: web_search, query: Python tutorial}}/tool_callpause_and_memorize_fact用途在轨迹中持久化存储一个事实参数fact要存储的事实内容示例tool_call{name: computer_use, arguments: {action: pause_and_memorize_fact, fact: Users favorite color is blue}}/tool_callask_user_question用途向用户提出澄清问题参数question问题内容示例tool_call{name: computer_use, arguments: {action: ask_user_question, question: What time would you like to book the appointment?}}/tool_callwait用途等待指定时间参数seconds等待秒数示例tool_call{name: computer_use, arguments: {action: wait, seconds: 5}}/tool_callterminate用途结束任务并给出最终答案参数answer最终答案内容示例tool_call{name: computer_use, arguments: {action: terminate, answer: The task has been completed successfully.}}/tool_callPython集成示例以下是使用vLLM的OpenAI兼容端点与Fara1.5-27B进行单步交互的伪代码示例# 捕获浏览器截图并转换为base64格式 screenshot_b64 capture_browser_screenshot() # base64 PNG # 构建消息列表包含系统提示、用户目标和截图 messages [ {role: system, content: FARA_SYSTEM_PROMPT}, {role: user, content: [ {type: text, text: Book a table for 2 at a sushi place in Sunnyvale for Friday 7pm.}, {type: image_url, image_url: {url: fdata:image/png;base64,{screenshot_b64}}}, ]}, ] # 调用模型获取响应 response client.chat.completions.create( modelmicrosoft/Fara1.5-27B, messagesmessages, temperature0.0, max_tokens2048, ) # 解析助手的回复提取工具调用 # 回复将包含思维链文本后跟tool_call{name: computer_use, arguments: {...}}/tool_call # 在沙盒浏览器中执行动作捕获新截图追加助手回合和工具/观察回合循环直到模型发出actionterminate # 聊天历史中只保留最近的3张截图完整的代理循环参考实现包括截图捕获和Docker沙箱可在MagenticLite中找到。安全最佳实践使用Fara1.5-27B时应遵循以下安全准则人工监督实时监控Fara在网络上的操作并提供快速停止执行的方法。沙箱执行在隔离的容器中运行Fara不允许访问主机文件、环境变量或敏感凭据。浏览限制通过允许列表或阻止列表限制代理可访问的页面范围以减少接触恶意页面的风险。信息保护除非绝对必要且用户已授权否则不要与代理共享凭据或个人身份信息。输出验证Fara可能会产生幻觉、错误归因来源或被欺骗性内容误导在根据其输出采取行动之前进行验证。总结Fara1.5-27B作为一款强大的Web自动化代理通过12种核心工具调用实现了丰富的浏览器操作能力。本文详细介绍了这些工具的使用方法和Python集成示例希望能帮助开发者快速掌握Fara1.5-27B的API使用。无论是自动化重复性Web任务还是构建更复杂的Web代理系统Fara1.5-27B都能提供强大的支持。需要注意的是Fara1.5-27B的训练数据为英文主要适用于英文环境的Web任务。在高风险领域法律、健康、财务建议使用时需格外谨慎建议配合适当的安全措施和人工监督。通过合理利用Fara1.5-27B的能力开发者可以构建出更加智能和高效的Web自动化解决方案为用户提供更好的服务体验。【免费下载链接】Fara1.5-27B项目地址: https://ai.gitcode.com/hf_mirrors/microsoft/Fara1.5-27B创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
