说下我的实现方案,是个扁平化的,知识库来源仅为人工审核后的 skill 需求分析后产出的测试点和人工手动录入,在 skill 分析需求文档并产出测试点后,来到人工审核门禁,人工审核修正后由子 agent 负责整理刷入知识库,整理过程包含知识来源、业务域、AI 召回关键词、功能点、逻辑内容、测试方案以及一些与已有知识的关联关系及评分和可信度评估;手工录入的知识会被先标记为未审核;所有的知识库内容由 agent 定期执行自动审核合并,对周期内入库的知识跟原有知识进行对比整理形成迭代关系。同时设计了知识库召回记录测试案例设计中标记回归逻辑的召回命中 id;整个知识库融合到了各个 skill 中,基本不会手动维护
是的,我能想到最终的形态也是向往数字分身这个方向,就是现阶段是个探索阶段,还是想拆分成一点一点的实现,毕竟还要主要以业务功能测试为主,抽时间在搞 AI 这块;怕自己见识短,往一个错误的方向上使劲,所以想看下业内的大佬们的思路
我也是普通的功能测试,所以我这边用 AI 都是聚焦到业务流程上,最开始使用 AI 的初衷就是开发用 AI 开发的代码,里边藏了大量的业务逻辑 bug ,所以我们进行提测后的冒烟扫描,可以按照业务需求将代码中的大部分业务逻辑 bug 拦截住
您举得这个例子,正是我们在尝试的时候头疼的问题,还有些复杂的业务数据 AI 目前还不会构造,所以还是想将 AI 执行层放到现有已经成熟的框架下来做,想跟大佬们交流下有没有设计思路
可不敢,业内的大佬多的很,可能只是懒得分享交流
前后端代码分支 + 测试案例进行后端代码提测后的代码扫描拦截 AI 生成代码 bug 这个问题,是因为我们这开发使用的代码扫描 AI,只会简单的机械扫描代码逻辑有时会瞎报错,但是我们做的这个可以根据测试案例,带着业务逻辑进去扫描,发现业务流程不符的部分;
ai 生成用例的扩散性问题;刚开始我们确实也比较严重。部分生成的测试案例采用比例 40% 左右,后面针对这个问题,在 skill 中给 AI 限定的测试用例生成规范、测试用例设计方法,然后还做了知识库的召回作为测试用例设计的源,现在这种情况有了好转了,但是还是有一小部分冗余的测试用例输出,不过不太影响人工的测试用例执行
确实 uI 的我尝试再用 playwright mcp 在做,结合 UI 自动化框架,相当于让 AI 在之前的框架下执行 UI 自动化,因为 AI 可以自己修复脚本,所以准确性尚可,;接口自动化这个借助了公司私有化部署的成熟产品,由 AI 操作也尚可;我现在的难处是怎样设计一个通用流程将他们整合在一起,哪些产物是可以复用的,现阶段不考虑 token 消耗,但是后面必须得考虑 token 的问题,要有高产出比,不然就会被毙掉了
很受启发,感觉是类似 skill 群了,不断地增加 agent 可以执行的步骤,最后合成一个完整的流程,后面尝试一下,
感觉 AI 可能最先替代一部分开发,但是目前还没看见 AI 替代测试的场景,最多是给测试做赋能,当然测开除外
我们这边设计的 skill 工作流,从需求文档解析、开发设计文档分析、知识库召回、回归用例召回、测试用例设计方法等等一整个流程来实现最终的测试用例输出,产出的测试用例采纳度还可以