PalmClaw面向手机的原生端侧智能体框架arXiv:2607.13027v1 [cs.CL] 2026年7月14日项目下载地址https://github.com/ModalityDance/PalmClaw/releases/latest摘要大语言模型LLM智能体已不再局限于文本生成可通过调用工具、观测返回结果、迭代决策完成多步骤复杂任务。现有绝大多数智能体框架运行于桌面端或云端服务器依托工具链实现任务自动化。手机是极具价值的智能体运行载体普及率极高存储用户隐私数据、搭载各类传感器与日常应用。现有移动端智能体普遍基于图形界面GUI操作实现控制通过点击、滑动、输入完成指令存在三大缺陷① 高层任务会拆解为超长界面操作序列页面布局变动极易失效② 无法直接读取设备底层资源与传感器数据③ GUI操作权限宽泛缺少针对单任务的访问限制与执行边界管控。本文提出PalmClaw——一套开源手机原生端侧智能体框架会话管理、记忆存储、技能库、工具集、智能体循环全部在设备本地运行。框架将手机硬件能力封装为标准化设备工具提供规范入参、结构化返回结果、细粒度执行边界约束。该设计让智能体直接调用手机原生能力同时所有操作显式可控。实验结果对比最优基线任务完成成功率相对提升11.5%平均任务耗时降低94.9%部署配置门槛更低边界校验用例完整验证权限与文件访问管控逻辑。关键词端侧大模型移动端智能体设备原生工具任务自动化执行权限边界1 引言1.1 LLM智能体发展现状基于LLM的智能体依托工具调用、环境观测、多轮迭代循环实现自主任务执行。面对复杂用户指令智能体自动拆解子步骤、调用工具、观察反馈并持续迭代动作直至任务完成可实现信息检索、文件管理、工作流自动化等复杂操作。主流智能体框架AutoGen、AgentScope、OpenClaw将会话、记忆、技能、工具、推理循环全部部署在电脑或云端依托桌面环境完成调度。1.2 移动端部署智能体的核心价值普及度广全球80%以上10岁以上人群拥有手机无电脑设备的用户也可使用智能体贴近用户数据手机存储个人隐私、摄像头/麦克风/定位等传感器、高频日常App端侧运行可直接调用本地资源无需云端中转。1.3 现有移动端GUI智能体的固有缺陷当前移动端智能体均依赖屏幕点击、滑动、输入等GUI交互存在三大短板任务操作链冗长界面布局微调即导致流程失效无法直读本地文件、传感器等底层设备资源界面操作权限无隔离缺少单任务专属访问边界存在隐私风险。终端原生智能体Codex CLI、Claude Code、Gemini CLI已证明标准化工具调用优于纯界面操作本文将该思路落地移动端提出PalmClaw。1.4 PalmClaw核心设计与核心贡献PalmClaw完整智能体逻辑全部运行在手机本地通过设备工具封装硬件能力提供标准化参数、结构化返回、权限/文件访问边界无需外接电脑/云端调度。核心贡献开源移动端原生智能体框架PalmClaw会话、记忆、技能、工具、推理循环全端侧部署设计标准化设备工具层统一封装手机硬件能力内置细粒度执行边界校验在MobileTask、AssistantBench双数据集完成完整评测成功率提升11.5%、耗时降低94.9%通过部署对比、边界用例验证低配置门槛与权限管控能力。2 相关工作2.1 通用智能体框架ReAct、Toolformer奠定推理工具调用基础AutoGen、AgentScope、OpenClaw封装完整智能体系统但全部部署于电脑/云端。PalmClaw创新将全套智能体组件迁移至手机本地。2.2 移动端智能体研究现有移动端基准与系统AndroidWorld、MobileAgentBench、Mobile-Bench、AgentCPM-GUI、Mobile-Agent-v3.5ApkClaw、MobileClaw、ClawMobile均基于GUI界面操作实现手机控制。与上述工作区别PalmClaw不依赖屏幕交互直接在设备本地运行完整智能体框架通过标准化设备工具调用底层硬件能力。3 框架整体设计3.1 整体架构概述PalmClaw所有任务执行组件运行于手机本地会话模块管理多轮交互、持久记忆存储历史信息、技能库封装通用任务流程、设备工具对接手机硬件智能体循环串联全部组件完成多轮推理与工具调用。LLM推理请求转发至远程API上下文组装、工具执行、会话状态持久化完全保留在本地整体打包为独立安卓应用。3.2 智能体核心组件1会话 Sessions统一管理三类输入本地聊天消息、远程联动消息、定时唤醒自动消息每个会话独立存储对话历史、工具调用日志、附件、专属工作目录存放临时文件/生成产物多任务隔离新输入自动分配至已有会话或新建会话支持跨轮次持续执行任务。2记忆 Memory双层持久化记忆架构全局长期记忆跨会话共享每一轮推理自动加载单会话摘要轻量化记录当前任务进度与结论。当未汇总消息达到阈值自动调用LLM生成摘要更新两层记忆配套记忆工具支持读写、检索历史会话内容。3技能 Skills以SKILL.md文件存储可复用任务流程指令分为内置技能与用户自定义技能每轮推理自动加载常驻技能完整加载、其他技能通过匹配用户指令关键词选择性加载仅加载相关技能减少上下文冗余。内置技能覆盖日程、文件、通讯、自动化等高频移动端场景。4工具 Tools核心创新模块设备工具层打通模型调用与手机底层资源每个工具包含两部分模型侧规范工具名称、功能描述、JSON参数约束设备侧执行函数调用安卓系统服务/应用底层能力。框架将工具规范传入LLM收到调用指令后执行本地函数返回结构化结果/错误信息。内置工具分组设备状态与权限、媒体、蓝牙、日历、联系人、工作区文件扩展工具支持网页访问、记忆读写、消息通讯、定时自动化。3.3 端侧完整执行流程1上下文组装输入绑定会话后从6类数据源拼接推理上下文系统配置指令AGENT.md/SOUL.md/USER.md运行时环境当前时间、时区、会话ID、工作目录路径全局长期记忆常驻匹配筛选后的技能完整指令近期对话、附件、工具调用日志全部可用工具参数规范。前5项构成模型输入消息工具规范随消息一并发送至远程LLM接口。2智能体循环Agent Loop基于ReAct范式的有界多轮循环根据当前会话状态重建完整上下文将消息工具规范发送远程LLM保存模型返回内容至会话若返回包含工具调用本地执行工具将结果追加会话进入下一轮循环若无工具调用、工具标记任务完成、达到最大轮次上限循环终止输出最终回复。3工具执行与三层边界校验工具调用进入本地执行链路前强制三层校验全部通过才可执行硬件操作参数格式校验校验必填参数、数据类型、数值范围权限校验校验设备授权缺失权限拉起系统授权弹窗需人工确认的操作等待用户确认工作目录隔离校验文件路径限制在当前会话工作区/授权共享目录跨会话目录、未授权全局路径直接拦截外部写入需用户二次确认。校验失败/用户拒绝则返回结构化错误信息校验通过执行设备操作结构化结果写入会话供下一轮推理使用。4 实验评估4.1 三大研究问题RQ1端侧框架设备工具能否高效完成移动端各类任务RQ2全本地部署是否降低外部部署与运维成本RQ3设备工具如何落地权限、目录等执行边界管控4.2 实验环境与数据集1数据集MobileTask70项移动端任务源自AndroidWorld、MobileAgentBench、Mobile-Bench覆盖日历、天气、联系人、音频、笔记、文件、蓝牙、媒体判定规则最终状态确定性校验、答案类任务LLM打分、权限类人工复核。AssistantBench网页信息检索数据集选取19条稳定开发集样本采用官方准确率指标。2对比基线ApkClaw安卓App纯GUI点击滑动控制MobileClaw手机客户端桌面Python运行时基于截图GUI操作ClawMobileTermux终端部署APIGUI混合操作。3硬件与模型测试设备小米Redmi 2312DRAABCAndroid 13SDK33统一大模型DeepSeek-V4-FlashMobileClaw额外视觉模型Qwen3.7-Plus轮次限制PalmClaw单任务最大30轮GUI基线100轮界面操作需大量观测轮次。4.3 RQ1任务完成效果评测表1 任务完成指标总览框架部署载体操作方式MobileTask平均AssistantBench操作数↓Token总量↓耗时(s)↓成功率↑准确率↑MobileClaw桌面端GUI操作94.3130万1197.060.0%5.26%ClawMobileTermux终端APIGUI51.446.64万451.177.1%10.49%ApkClaw手机AppGUI操作103.9206万348.887.1%25.79%PalmClaw(本文)手机原生App标准化设备工具2.85.04万17.797.1%36.85%核心结论PalmClaw与基线架构本质差异全套智能体逻辑本地运行采用标准化工具而非屏幕交互对比最优基线ApkClaw任务成功率相对提升11.5%平均耗时降低94.9%操作次数、Token消耗大幅下降网页检索任务准确率领先全部基线效率提升根源设备工具直接调用底层能力省去大量截图、页面跳转、点击滑动等冗余GUI步骤。4.4 RQ2部署运维成本对比表2 部署环境与配置开销对比框架外部依赖配置流程是否需要电脑是否依赖命令行是否需要设备桥接配置步骤数配置耗时OpenClaw是是可选4步约5分钟MobileClaw是是必需8步约15分钟ClawMobile否是可选6步约25分钟ApkClaw否否否3步约5分钟PalmClaw否否否2步约2分钟结论PalmClaw无需外接电脑、命令行、设备桥接全部流程在手机App内完成配置步骤仅2步总耗时约2分钟为所有对比框架最低大幅降低使用门槛。4.5 RQ3执行边界管控实例分析通过运行日志案例展示三层校验机制落地效果工具调用不会获得无限制设备操作权限触发边界时自动拦截并引导用户处理。案例1日历权限缺失用户指令明天10点和Alex新建会议边界触发日历工具无系统读写权限处理逻辑拉起安卓系统授权弹窗用户授予权限后继续执行拒绝权限则返回明确错误告知用户缺少日历权限不会伪造任务完成结果。案例2工作目录文件访问隔离用户指令将购物清单保存至/sdcard/list.txt边界触发路径超出当前会话专属工作目录需要全局文件访问权限处理逻辑无法通过简易弹窗授权自动跳转应用设置页面提示用户手动开启全部文件访问权限。附录补充边界场景汇总表表3 执行边界典型场景边界类型用户请求触发事件智能体处理结果权限缺失明天10点添加会议无日历读写权限申请系统权限弹窗人工确认拍摄桌面照片记录布置敏感操作需确认弹出用户确认框工作目录隔离清单保存至SD卡根目录路径超出会话工作区引导手动开启全局文件权限无匹配工具打开Instagram查看好友动态无对应内置工具返回操作不支持提示5 结论本文提出PalmClaw移动端原生端侧智能体框架整套会话、记忆、技能、工具、推理循环全部运行于手机本地通过标准化设备工具封装硬件能力内置参数、权限、工作目录三层执行边界管控。在MobileTask数据集上相比最优基线任务成功率提升11.5%平均完成耗时下降94.9%部署配置成本最低日志案例完整验证权限与文件隔离机制。研究证明手机可作为完整智能体运行载体将移动端智能体研究从纯屏幕GUI操作拓展至直接、可控调用设备底层能力的全新方向。伦理说明PalmClaw所有设备操作显式可控工具统一注册、参数强校验敏感操作依赖安卓系统权限或人工确认文件操作严格限制会话工作目录。开发者需向用户清晰告知远程LLM服务商会接收提示词、工具返回结果、任务上下文本文实验全部使用公开/构造数据集不采集用户真实隐私数据。附录A 补充细节A.1 单轮推理上下文完整构成单次智能体推理上下文包含6类信息系统配置、运行环境、全局长期记忆、激活技能、对话与工具日志、全部工具规范附录附图展示完整样例。A.2 数据集与评测指标MobileTask数据集构建规则源数据集AndroidWorld、MobileAgentBench、Mobile-Bench筛选标准① 不依赖固定GUI路径② 不绑定第三方App状态③ 不偏向纯GUI智能体剔除动态日期、实时天气、重复日历等不稳定任务最终70条任务。AssistantBench筛选规则原始开发集33条保留19条答案稳定可校验样本剔除实时动态结果、无法客观判定答案的任务。评测指标细则MobileTask70任务平均成功率可观测结果采用确定性校验问答类统一由DeepSeek-V4-Flash作为裁判模型打分AssistantBench官方准确率字符串答案采用词级F1数值答案对数距离打分列表答案平均对齐F1。表4 数据集分类统计数据集任务分类数据源数量MobileTask日历AndroidWorld32日历MobileAgentBench3天气Mobile-Bench10联系人AndroidWorld3联系人MobileAgentBench4音频AndroidWorld4音频MobileAgentBench3笔记MobileAgentBench4文件MobileAgentBench3蓝牙AndroidWorld2媒体AndroidWorld2MobileTask合计——70AssistantBench中等难度开发集10高难度开发集9AssistantBench合计——19附图说明图1传统移动端智能体桌面/云端中转GUI指令vs PalmClaw本地原生智能体架构对比图2PalmClaw完整框架数据流总图图3内置技能与工具分组总览图4权限、工作目录两类执行边界运行日志轨迹图5单轮推理完整上下文样例图6PalmClaw App界面截图模型服务商配置、日历任务执行、权限申请弹窗、系统设置页
