今年初（可能去年下），公司 AI 部门就开始搞 AI 全流程软件研发框架了（基于某国际头部 Agent），完成初版后，就要求让其他部门也接入使用：不能使用 VideCoding，需要用此全流程框架：输入需求->需求分析拆解 + 澄清->系统设计/用例设计->(编码 React->[基于测试用例自动执行 UI 测试->自动修复->loop])

测试模块是后面接入的：主要是自动用例生成 +AI 进行自动化用例测试；相对开放的进度会滞后。当时（7 月份）说法，主要是 AI 进行自动化用例测试这块卡点（数据、环境、业务上下文）、准确率有些问题，只在一些特殊业务上运行过 demo，但其他复杂场景就歇菜了。——这个和我预期的也一致。

上个月从一些技术分享会得到信息来说，不管大厂还是技术先锋团队，AI 的完全自动化测试 + 修复也只是用于特定业务场景做的特调；但几天前部门领导参加了工作的技术沟通会，给我带来说法是：其他有个部门已经完全使用了（不知道是 1、2 个项目还是很多项目），而且 UI 测试完全交与 AI，人最终只要花 5-10% 的时间复查下。这样下去很危险（我想指的是测试团队）......
听完我的第一反应这里肯定有水分（毕竟是大会，那个部门是有 “基于 AI 研发” KPI 的......），这里的水分我是基于那个部门的部分业务场景是有些复杂的，AI 完全自动测试，卡点不少：业务上下文、测试用例完善、执行中卡点（自动化工具、页面复杂度...）、测试数据准备、测试环境稳定性、测试准确度、自身幻觉.....完全解决了（不是大厂）？但对于领导的说法，先听听表示点点头，表示事后了解下，因为这套流程本部门也需使用，还得直接跟那个部门直接沟通了解情况......

随着大模型的进步 +harness 工程，提供准确的知识库、有效测试技能，针对部分项目是验证过的，尤其是后端配置规则 + 前台展示类，AI 可以完成将近 90% 的工作，人的作用主要是澄清需求分析问题及用例，AI 可以自行了解原型和交互设计后，加上测试用例就可以跑测试了，剩下的部分人检查样式及一些特殊情况。但有些长流程场景（涉及多种角色、多种状态）在缺乏快速测试数据生成的情况下，都自己完成测试，感觉有些悬。

下面，我希望大家在评论区说说，你们公司或部门的 AI 测试已经能达到什么地步了，对齐下。