RobotHelper 安卓自动化脚本框架:点击模拟、找图、文字识别完整指南
RobotHelper 安卓自动化脚本框架点击模拟、找图、文字识别完整指南【免费下载链接】RobotHelper安卓游戏自动化脚本框架|Automated script for Android games项目地址: https://gitcode.com/gh_mirrors/ro/RobotHelper想在安卓游戏里自动点奖励、自动识别界面文字商业软件难扩展、Auto.js 偏重。RobotHelper 是一个专为安卓游戏和爬虫项目设计的自动化脚本框架内置点击模拟、多点颜色找点、模板匹配和 Tesseract 文字识别适合需要做二次开发的脚本作者。能做什么一份能力清单输入模拟点击、长按、拖拽、双指缩放pinchOpen/pinchClose基于 Xposed、无障碍或 Root 三种通道找点识别多点颜色特征定位Image.findPointByMulColor和 OpenCV 模板匹配Image.matchTemplate自动处理分辨率差异文字识别内置 Tesseract OCR离线识别简体中文和英文支持黑白名单过滤文本输入通过自带输入法向焦点输入框写入中英文界面抓取把当前窗口的全部 Dom 元素导出为 Json并可通过 Web 接口远程调用V2.0 起输入优化自带 Go 重写的sendevent常驻进程不反复重建比系统自带工具开销更小核心代码在 Android/app/src/main/java/cn/xjiangwei/RobotHelper/工具类集中在 Tools 子目录。上手路径从克隆到跑通 Demo克隆代码git clone https://gitcode.com/gh_mirrors/ro/RobotHelper.git用 Android Studio 打开 Android 目录确保本机装好 JDK 和 Android SDK等待依赖OpenCV、Tesseract 的 aar 已放在项目内 Android/opencv-android341/ 和 Android/app/libs/安装到手机开启无障碍服务配置文件见 Android/app/src/main/res/xml/accessibility_service_config.xml并把 RobotHelper 设为默认输入法运行 Demo入口类是 Android/app/src/main/java/cn/xjiangwei/RobotHelper/GamePackage/Main.javastart()方法里已经排好文本输入、模板匹配、文字识别、多点找点四段示例注意无障碍通道要求 Android 7.0API 24及以上低版本会退化为不可执行状态此时需换 Xposed 模式。实战演示找图标并点击最小可用示例就两行——先按颜色特征找点再点它Point point Image.findPointByMulColor( ScreenCaptureUtil.getScreenCap(), 434FD7,65|0|414DDB,90|55|46CDFF,5|86|5FA119); Robot.tap(point);字符串格式是颜色,x偏移|y偏移多组特征点。注意示例规则是在 3120x1440 分辨率下抓的直接运行在你手机上大概率找不到——换图前先用抓点工具重新生成规则项目附带一个 Python 版抓点脚本 python/imgRulesCreator.py依赖 OpenCV 和 adb。文字识别同样一行出结果String s TessactOcr.img2string(ScreenCaptureUtil.getScreenCap(0, 0, 200, 30), chi_sim, , );参数是截图区域、语言默认内置 chi_sim 和 eng、白名单、黑名单。想加其他语言往 assets/tessdata 放对应 traineddata 即可。能力拆解三个模块怎么分工Robot 负责手。tap、swipe、input、pinchOpen等静态方法统一入口内部按你设置的执行类型路由到对应实现Robot.java 与 Tools/InputImp 下的各实现类。文本输入统一走自带的 FastInputIME不依赖焦点控件类型。Image 负责眼。基于 OpenCV提供模板匹配自动处理分辨率一次抓图多分辨率可用和多点颜色匹配两种找图方式配合 ScreenCaptureUtil 截图使用。V2.4 起截图函数自动识别屏幕方向老项目若依赖横屏可用ScreenCaptureUtil.setHorizontalScreen()锁定。TessactOcr 负责读。Tesseract 引擎内置在 apk 里识别不经过服务端img2string传入 Bitmap 和语言包名直接返回文本适合任务文字提取和简单验证码场景。选型与避坑权限模式怎么选框架支持三种提权方式用Robot.setExecType(...)切换Xposed推荐模拟最真实且是唯一实现双指缩放的通道。需要手机装好 Xposed 框架并 Hook RobotHelper无障碍门槛最低无需任何 root普通设备开箱即用。建议新手从它开始Root实验阶段仅在 OnePlus 7 Pro 上验证过兼容无保证不建议首选不手动设置时框架自动优先 Xposed其次无障碍。几个容易踩的坑多点找点规则和分辨率强绑定换分辨率必须重新抓点文字输入失败先确认焦点在输入框、且已切换默认输入法截图被系统回收会报 recycled bitmapV2.4.2 已修复用到旧版本先升级脚本开头保留 5 秒左右的sleep等状态栏收起动画结束避免截图错位疑问速答需要 root 吗不需要。无障碍模式零权限门槛Xposed 模式只需 Xposed 框架。兼容哪些安卓版本无障碍通道要求 Android 7.0输入 Hook 在 Android 11 及以上已有专门适配V2.4.2。OCR 识别不准怎么办缩小识别区域、只识别目标文本用黑白名单参数过滤干扰字符或引入专用语言包。能远程控制吗V2.0 起提供 Web Api可通过接口调用框架能力后续规划还支持业务进程与 Work 进程跨机器部署方便群控。和按键精灵、Auto.js 比如何项目定位是比按键精灵等商业软件扩展性强比 AutoJS 更轻量更适合二次开发适合愿意写 Java 的开发者做深度定制。未来路线见 UPDATE.md进程拆分、脚本暂停/停止、跨机器部署、脚本热更新。打开 Main.java 的start()把第一行 Demo 换成你自己的逻辑今天就让它替你点起来。【免费下载链接】RobotHelper安卓游戏自动化脚本框架|Automated script for Android games项目地址: https://gitcode.com/gh_mirrors/ro/RobotHelper创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考