AI 不只会写代码,也能帮你测安卓 App 了
- 2026-11-20 18:56:15
一个让你正在用的 AI 助手直接操作 Android 手机、验证真实结果、顺手留下测试报告的开源项目。

先说痛点
用 AI 做 Android 自动化测试,最劝退的第一步,从来不是写用例,是框架不可用。
谷歌今年开源了 ARTEMIS,一个用 AI 驱动 Android 真机测试的框架,思路很漂亮。但它默认走的是 Agent 模式:ARTEMIS 自己再起一个模型来"看屏幕、想下一步"。说白了,这意味着你得单独给它配一份模型 API Key,测试的"大脑"和你聊天用的 AI 是两个东西,两份订阅,两条链路。
我就想问一个问题:我手头的 Harness(AI 宿主)明明能看图、能推理,为什么还要再养一个模型?
于是我基于 ARTEMIS 做了一次升级,把项目重构成了以 Direct(宿主驱动)模式为核心:让你正在用的 Harness 直接接管设备,ARTEMIS 只负责执行,不再启动第二个模型。这就是今天要介绍的 artemis-direct。
Direct 模式是什么?
你的 AI 助手是大脑,ARTEMIS 是手。
通过 MCP(Model Context Protocol)把 Android 真机或模拟器接到 CC、Codex、Cursor 这些 AI 宿主上,AI 就能看到屏幕、点按、判断结果,再把证据归档成一份测试报告。
整个过程中,思考的是你的 AI,执行的是 ARTEMIS。不用为 ARTEMIS 单独配任何模型凭据。

图 1|Direct 架构示意:宿主负责思考,ARTEMIS 负责执行与证据归档。(AI 生成示意图)
那它和官方默认的 Agent 模式,差别到底在哪?
"大脑"本身的订阅和用量还是你宿主自己的,这点得说清楚,不做标题党。
既要"能点屏幕",又要"测得可信"
市面上让 AI 操作手机的项目不少,但大多数有个通病:点了一下,返回 ok,就当测试通过了。这其实是自欺欺人。点击成功,就等于业务成功了吗?
这是我这次升级最花心思的地方。几个关键设计:
1. 操作之后必须验证。 每个动作默认返回操作后的观察,AI 不是点完就跑,而是回头确认界面真的变了。
2. 显式检查点。 AI 判断完结果后调用 session_checkpoint,记录下表的五种结论,明确区分"失败了"和"没测到"。
而且有个硬规则:就算最后请求"报告通过",只要存在失败检查点,最终结论就是 failed,改不掉。 不给 AI 留"强行报喜"的余地。真离谱。
3. 语义定位代替坐标。 按文本、资源 ID、内容描述精确匹配 UI 元素,有歧义直接报错而不是瞎点。App 改版换了个按钮位置?不用重写脚本。实在没有可用元素,才用 0 到 1000 的归一化坐标兜底。
4. 证据链完整。 一个会话结束,产出目录里是齐的:report.md 报告、session.json 会话数据、截图文件夹、logcat.txt 日志、timeline.html 离线时间线,还能用 scrcpy 录像,把动作、截图、检查点和视频串起来,回看时直接定位出事的那一帧。

图 2|检查点与证据示意:动作成功不等于业务通过;检查点和证据约束最终报告。(AI 生成示意图)
探索过的交互,别浪费:固化为回归用例
AI 交互式测试很适合发现问题,但发现之后呢?回归不能每次都靠 AI 重新探索。
所以我把验证过的交互整理成了声明式 JSON 回归用例:
每个用例至少包含一个断言,支持"出现/消失/启用/稳定"等有时限的等待 执行前先校验全部步骤,首次失败即停,剩余断言标记为 not_run 支持失败重跑、参数覆盖 输出 junit.xml,直接接进 CI
关键是:跑这些用例不需要 MCP 宿主,也不需要任何模型。一条命令:
POWERSHELL
uv run python -m artemis.mcp.direct_cases .\smoke.json --device "127.0.0.1:7555"探索靠 AI,回归靠脚本,各干各的活。有几个人真的会每次都用 AI 重新探索回归?

图 3|回归流程示意:已验证步骤整理为 JSON,用 CLI 执行并输出 JUnit。(AI 生成示意图)
没有 AI 宿主也能用:Web Direct
有时候你就是想人肉点几下看看。运行 uv run python -m artemis ui,打开本地页面,选设备、开会话,面板里直接点截图操作、输文本、看检查点。人在决策,照样不需要模型 Key。
快速上手
环境要求:
adb connect 上去就行) |
POWERSHELL
git clone https://github.com/gycodex/artemis-direct.git cd .\artemis-direct uv sync # 一条命令装到你的宿主(支持 CC / Codex / Cursor / Windsurf / VSCode 等) uv run artemis mcp --type direct --device "127.0.0.1:7555" --install codex重启宿主后,先发一句试试水:
使用 Artemis Direct 列出设备并观察当前屏幕,先不要点击或输入。
看到 observe_screen、session_start 这些工具,就说明 Direct 已经就位了。
⚠️ 注意:CLI 默认仍是 Agent 模式,配置 Direct 时务必显式加 --type direct。
写在最后
这次升级不是换个壳,而是回答一个具体的问题:当你的 Harness 已经足够聪明,测试框架该退到什么位置?
我的答案是:把"思考"还给宿主,把"执行、验证、留证据"做扎实。报告里每个结论都有截图和检查点撑腰,ok=true 真能等于业务通过吗?改不掉,也不会被偷换。
本仓库:artemis-direct;上游:Google ARTEMIS 许可:Apache 2.0,保留上游归属
项目还在持续打磨中。如果你也在做 Android 测试、玩 MCP,欢迎一起来交流。
项目与工具链接
本项目 · artemis-directhttps://github.com/gycodex/artemis-direct
Google ARTEMIS · 上游项目https://github.com/google/artemis
uv · 安装文档https://docs.astral.sh/uv/getting-started/installation/
ADB · Android Platform Toolshttps://developer.android.com/tools/releases/platform-tools
scrcpy · 屏幕控制与录像工具https://github.com/Genymobile/scrcpy