不好意思， 刚看到。 如果有很完善的设计稿， 其实是可以测试左移， 在没提前就写好 case 的，因为我们的控件定位现在都是用自然语言描述的了。 但这太要求设计稿的完善和开发团队严格按照设计稿开发的规范。

数据初始化？ 是什么数据哈，我没太 get 到你的点

是需要写脚本， 只不过我都是让 AI 写：

我没用 workbuddy， 我是用的 midsence， 基于多模态大模型的 UI 自动化识别方案。 底层用的 playwright，而 playwright 用 CDP 跟浏览器交互，目前用下来，稳定性还挺不错的。 多模态大模型通过截图来找到控件的坐标， 然后通过控件坐标，与 playwright 交互找到真正的控件对象。 然后通过 palywright 调用 cdp 操作浏览器。

整套东西用下来， AI 定位控件的正确率还是很高的，我用的是千问的多模态模型。 而 midsence 仍然是用 playwright 的，所以即便 AI 定位失败了， 我们还可以回退到传统的 css 定位。

你说的系统测试是？

我之前是占了入行早的便宜， 我 16 年初入的 AI 领域。 那时候行业不要求必须懂 AI， 毕竟整个行业里都没多少知道 AI 是什么东西的。 但其实现在也不是每个地方都要求懂 AI 才能进来。 因为现在懂 AI 的人仍然是少的。 如果每个公司都要求岗位必须有 AI 经验， 那就很难找到人了。 我们这里照片也不是把有 AI 相关经验当做硬性要求的。

元素如果极其 ID 稳定，甚至可以不用任何编写代码的框架了。 就老式的录制回放就行。

我写了一个探测的 Agent， 动态启动浏览器探测， 然后生成 CSS 和 AI 的定位方式。 优先 CSS，如果 CSS 定位失败，就降级到 AI 定位。 然后还有一个测试 Agent，测试不通过就打回去重新定位。 现在正确率还可以。

但我没有试过，我没有做过移动端的测试。

字节的 midsence 我看文档上是支持全平台的。