自动化工具 AI 在 UI 自动化中的应用 - 简介-001

甬力君 · 2026年03月06日 · 最后由 GEMINEM 回复于 2026年03月06日 · 402 次阅读

我们所面对的场景主要是应用商店场景,第三方上架了很多应用,需要第一时间做质量审核和体验检测。

思路:100% 基于 AI 大模型实现,多个 Agent 协作,Agent 的实现中会引用 Tools(安卓、鸿蒙、iOS 等)。

Agent 结构:
1、主 Agent 负责接受用户输入、调度其他 agent、对用户输出报告等功能;
2、应用探索 Agent 负责自动遍历生成应用图谱;
3、用例设计 Agent 负责生成有效的文本用例以及转换为执行 Agent 能理解的指令(可以类比为关键字驱动);
4、测试执行 Agent 负责执行指令式用例,然后把结果发回给主 Agent;
Agent 主要基于 Python+langchain+langgraph 实现,里面涉及知识库、图数据库、向量化等知识

Tools 工具:
这个相当于大模型的手脚,大模型只能相当于一个脑子,只能分析推理总结,不能操作,需要 tools 来执行和物理世界的交互;
可以基于以前移动端的测试 driver 实现,比如安卓的、iOS 的、鸿蒙的,这部分具体实现起来很简单,看看系统源码或者逆向下测试相关的东西就可以实现;
还有一个点就是要理解 mcp 协议,我们的 tools 都是基于 mcp 实现,他是一个 cs 架构的协议;
我们的 tools 都是基于 python+FastMCP 实现

未完待续,太忙,慢慢更吧...

如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!
共收到 1 条回复 时间 点赞

大佬,请教一下,如何让 AGENT 自动遍历 APP 呢,有没有啥好的 prompt,生成的应用图谱存到知识库吗

需要 登录 后方可回复, 如果你还没有账号请点击这里 注册