过去 3 个月,我自主设计并实现了两个 skill,目前已在团队正式上线、每天都在跑:
不是 demo,是生产环境在跑的流程。目前自动提单的正确率在 80% 左右,还在打磨。
这两个 skill 涉及不少细节:缺陷标题如何能写准确、缺陷概率怎么算、缺陷内容如何写准确和完整、缺陷查重怎么做、怎么让团队真的用起来……
不确定大家最想看哪块,所以——想了解的请留言,你可以说:
留言多的方向,我会专门开帖子详细写,含踩坑过程,不只写成功的部分。
已经在做 AI 落地的同学,也欢迎交流下你们的玩法。
想了解代码
AI 需求澄清->AI 测分->AI 生成 case->AI 用例评审->人工用例评审->AI CR->AI 冒烟执行->AI 覆盖率检查补 case->AI 执行 case(部分)->AI 提单->AI 自动化回归
想看整体架构
关于自动化失败后的根因分析:目前是根据异常日志、堆栈信息匹配代码模块,还是会结合代码仓库、代码变更、服务端日志等信息进行综合分析?如何区分真实业务缺陷、自动化脚本问题、环境问题和测试数据问题?
关于目前提到的 80% 正确率:具体统计口径是什么?样本量有多少?是 AI 生成的缺陷最终被人工认可的比例,还是包含根因定位、模块匹配、负责人指派、缺陷查重等多个维度的综合准确率?有没有分别统计误报率和重复提单率?
关于自动提单:目前是 AI 判断后直接创建缺陷,还是先生成缺陷草稿,再由人工确认?对于误判、重复缺陷和错误指派,有没有相应的控制和纠正机制?
在将数据提交给 AI 模型之前,是否有统一的数据敏感信息识别和脱敏机制?具体覆盖哪些数据类型?数据脱敏是在日志采集阶段、AI 分析前,还是通过 Prompt 要求模型忽略敏感信息?如何防止遗漏?
我目前比较纠结的问题
基于 skill 的方式真的靠谱吗? 如何实现单步/任务/会话维度的结果验证? 出现与预期不一致的问题如何排查,改动后如何保证不出现退化? 耗时和 token 成本如何精准监控和优化?