测试管理 我写的 AI 根因分析 + 自动提单 skill 已上线,你们最想了解哪一块?

测试日常札记 · 2026年10月24日 · 最后由 华全 回复于 2026年10月30日 · 3966 次阅读

做了什么

过去 3 个月,我自主设计并实现了两个 skill,目前已在团队正式上线、每天都在跑:

  • AI 智能化根因分析 skill:自动化用例失败后,直接从日志定位到具体代码模块,并自动指派给对应负责人
  • AI 自动提单 skill:自动完成查重、提单或评论

不是 demo,是生产环境在跑的流程。目前自动提单的正确率在 80% 左右,还在打磨。

想了解的话,留言告诉我

这两个 skill 涉及不少细节:缺陷标题如何能写准确、缺陷概率怎么算、缺陷内容如何写准确和完整、缺陷查重怎么做、怎么让团队真的用起来……

不确定大家最想看哪块,所以——想了解的请留言,你可以说:

  • 想看整体架构
  • 想看某个具体环节
  • 或者直接说你遇到的问题

留言多的方向,我会专门开帖子详细写,含踩坑过程,不只写成功的部分。


已经在做 AI 落地的同学,也欢迎交流下你们的玩法。

共收到 6 条回复 时间 点赞

😃 想了解代码

AI 需求澄清->AI 测分->AI 生成 case->AI 用例评审->人工用例评审->AI CR->AI 冒烟执行->AI 覆盖率检查补 case->AI 执行 case(部分)->AI 提单->AI 自动化回归

想看整体架构

  1. 关于自动化失败后的根因分析:目前是根据异常日志、堆栈信息匹配代码模块,还是会结合代码仓库、代码变更、服务端日志等信息进行综合分析?如何区分真实业务缺陷、自动化脚本问题、环境问题和测试数据问题?

  2. 关于目前提到的 80% 正确率:具体统计口径是什么?样本量有多少?是 AI 生成的缺陷最终被人工认可的比例,还是包含根因定位、模块匹配、负责人指派、缺陷查重等多个维度的综合准确率?有没有分别统计误报率和重复提单率?

  3. 关于自动提单:目前是 AI 判断后直接创建缺陷,还是先生成缺陷草稿,再由人工确认?对于误判、重复缺陷和错误指派,有没有相应的控制和纠正机制?

  4. 在将数据提交给 AI 模型之前,是否有统一的数据敏感信息识别和脱敏机制?具体覆盖哪些数据类型?数据脱敏是在日志采集阶段、AI 分析前,还是通过 Prompt 要求模型忽略敏感信息?如何防止遗漏?

我目前比较纠结的问题

想看整体架构

基于 skill 的方式真的靠谱吗?
如何实现单步/任务/会话维度的结果验证?
出现与预期不一致的问题如何排查,改动后如何保证不出现退化?
耗时和 token 成本如何精准监控和优化?

需要 登录 后方可回复, 如果你还没有账号请点击这里 注册。