AI 定位控件的时候，可以开缓存， 缓存存在本地。 只要定位过一次， 下一次就不用 AI 了。 也可以先用 css 定位再用 AI 兜底。 至于用 AI 去编写 case 的成本。 可以用差一点的模型， 或者精简一下 skill。

就写 sql 执行就好了， AI 是用来写 case 和定位控件的

多谢提醒

不好意思， 刚看到。 如果有很完善的设计稿， 其实是可以测试左移， 在没提前就写好 case 的，因为我们的控件定位现在都是用自然语言描述的了。 但这太要求设计稿的完善和开发团队严格按照设计稿开发的规范。

数据初始化？ 是什么数据哈，我没太 get 到你的点

是需要写脚本， 只不过我都是让 AI 写：

我没用 workbuddy， 我是用的 midsence， 基于多模态大模型的 UI 自动化识别方案。 底层用的 playwright，而 playwright 用 CDP 跟浏览器交互，目前用下来，稳定性还挺不错的。 多模态大模型通过截图来找到控件的坐标， 然后通过控件坐标，与 playwright 交互找到真正的控件对象。 然后通过 palywright 调用 cdp 操作浏览器。

整套东西用下来， AI 定位控件的正确率还是很高的，我用的是千问的多模态模型。 而 midsence 仍然是用 playwright 的，所以即便 AI 定位失败了， 我们还可以回退到传统的 css 定位。

你说的系统测试是？

我之前是占了入行早的便宜， 我 16 年初入的 AI 领域。 那时候行业不要求必须懂 AI， 毕竟整个行业里都没多少知道 AI 是什么东西的。 但其实现在也不是每个地方都要求懂 AI 才能进来。 因为现在懂 AI 的人仍然是少的。 如果每个公司都要求岗位必须有 AI 经验， 那就很难找到人了。 我们这里照片也不是把有 AI 相关经验当做硬性要求的。

元素如果极其 ID 稳定，甚至可以不用任何编写代码的框架了。 就老式的录制回放就行。

我写了一个探测的 Agent， 动态启动浏览器探测， 然后生成 CSS 和 AI 的定位方式。 优先 CSS，如果 CSS 定位失败，就降级到 AI 定位。 然后还有一个测试 Agent，测试不通过就打回去重新定位。 现在正确率还可以。

但我没有试过，我没有做过移动端的测试。

字节的 midsence 我看文档上是支持全平台的。

都是 AI 来写，我专门写了一个 skill，是一个有三个 agent 的 skill，专门去帮我探索 UI 界面并编写脚本。

续期有 8 折优惠， 你要是接受不了 200 块钱， 加我微信：ycwdaaaa，我给你搞个优惠券

第一次进 200，能持续一年，一年后续期 8 折哈。

最近没那么忙了~

周日录播：

主要演示：

1. AI 驱动 UI 自动化的实践
2. 压测智能体的实践

录制：山治预定的会议

日期：2026-04-05 19:26:29
录制文件：https://meeting.tencent.com/crm/2qMO193y6a

录制：山治预定的会议
日期：2026-04-05 19:51:59
录制文件：https://meeting.tencent.com/crm/2ykOkpBVac

录制: 山治预定的会议
日期: 2026-04-05 20:29:39
录制文件：https://meeting.tencent.com/crm/KnvZmAVM7e

AI 识别的，安装了 MCP 后， AI 会启动浏览器，帮你识别控件并生成代码。

因为暂时还做不到， 就算能做到， 目前全 AI 驱动的 token 消耗也是接受不了的。可能未来可以。

文档里说它是支持全平台的，你可以试试

每次定位，差不多是 1000 到 1500 的 token 消耗。 大多数控件还是建议用传统定位， 实在定位困难或者变化比较大的控件再用 AI 定位

它是基于 playwright 的， 有 python sdk 版本，但我没用过。

随时都可以看， 下周日晚上还会有新直播，欢迎来听听哈。 这次直播加不加星球的都能来听听。