告别选择器噩梦5分钟用自然语言跑通跨平台视觉自动化测试【免费下载链接】midsceneAI-powered, vision-driven UI automation for every platform.项目地址: https://gitcode.com/GitHub_Trending/mid/midscene周五深夜十一点你还在为一个报错的选择器加班。白天全绿的测试套件因为前端同事改了个 class 名瞬间红了一片。你一边把#login-btn改成.login-btn一边想视觉自动化测试——让 AI 直接看屏幕、用大白话写用例——能不能替我扛下这种活这不是你一个人的经历。基于 DOM 结构网页底层的代码骨架的自动化测试天生就脆选择器随重构失效、canvas 里的元素摸不到、原生 App 进不去、跨域 iframe 看不见。传统工具再强也绕不开跟代码结构较劲这件事。而 Midscene.js 走的正是另一条路它不看 DOM只看屏幕截图。你像指挥一个真人测试员那样描述步骤它自己找元素、执行操作、核对结果。一句话定位把屏幕交给 AI用大白话写自动化测试。先看3个戳中痛点的亮点告别选择器维护UI 怎么重构都不怕界面变了重新跑一遍就行一行定位代码都不用改。AI 真的在看图说话canvas、纯图标按钮、跨域 iframe人类看得到的界面它都能操作和断言。还有一条你可能更在意一条 API 通吃全平台Web、Android、iOS、鸿蒙、桌面同一套写法全覆盖团队不用为每个平台各养一套脚本。3分钟跑通你的第一个AI测试用例从安装到跑通用不了喝杯咖啡的时间按下面四步走。第一步建项目装依赖npm create midscenelatest跟着提示npm install即可。第二步配模型。Midscene 靠多模态视觉模型看屏幕先设置模型提供商和密钥export MIDSCENE_MODEL_PROVIDERopenai export MIDSCENE_API_KEY你的密钥第三步写脚本。你没看错自然语言就是脚本本身await agent.aiAct(在搜索框输入 Midscene.js然后回车); await agent.aiAssert(页面出现了搜索结果列表);第四步跑起来。浏览器自己打开、自己输入、自己点击每一步都像有人替你在操作。第一次看到这一幕多少会有点原来测试还能这么玩的震撼。不想写代码用 Chrome 扩展在任意网页上直接输入指令就能试适合先玩再学。一张表看懂能覆盖哪些平台平台Midscene 的做法传统方式的痛点Web截图 自然语言兼容 Puppeteer/Playwright选择器脆弱重构即失效AndroidADB安卓调试工具连上设备直接操作定位繁琐机型差异大iOS免越狱控制 iPhone/iPad环境搭建成本高桌面Windows/macOS/Linux 原生界面长期缺统一方案HarmonyOS鸿蒙设备原生支持专用框架难复用新手最容易踩的4个坑坑一模型没配好就开跑。报错日志像天书其实多半是密钥或提供商配置不对。先跑通官方最小示例能省一小时。坑二指令写得太程序化。别把自然语言当代码写像跟人说话一样给足上下文——点击右上角红色的购物车图标比点击按钮可靠得多。坑三移动设备连不上。Android 记得开 USB 调试iOS 确认信任这台电脑九成连接问题都出在这两步。坑四一上来就想全自动。先让 AI 跑通一个用例、人工核对结果再扩展成整套回归步子太大容易摔。进阶玩法让AI测试走进团队工作流接进 CI/CD。每次运行自动生成可视化报告每一步有截图、有标注、有耗时失败可直接回放定位深夜收到构建失败邮件也不慌。融入现有测试框架。官方提供 Playwright 插件装完就能在你熟悉的套件里写自然语言用例迁移成本几乎为零。集成方式见 integrate-with-playwright.mdx。YAML 脚本化人人可写。把用例写成 YAML 提交到仓库产品、测试、前端都能看懂和 review测试脚本第一次成了团队公共资产。语法参考 automate-with-scripts-in-yaml.mdx。想研究实现细节也可以git clone https://gitcode.com/GitHub_Trending/mid/midscene边读源码边试。今晚你可以准时下班回到那个周五深夜。如果当时有 Midscene你要做的只是按上面四步跑通第一个用例然后把剩下的时间还给生活。视觉自动化测试不是玄学它只是把教机器认界面这件事从写选择器换成了说人话。下次 UI 重构的通知在群里弹出时希望你手边有它。从快速开始文档走起quick-start.mdx。【免费下载链接】midsceneAI-powered, vision-driven UI automation for every platform.项目地址: https://gitcode.com/GitHub_Trending/mid/midscene创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
