这是鼎叔的第一百五十篇原创文章。行业大牛和刚毕业的小白,都可以进来聊聊。
欢迎关注公众号《敏捷测试转型》,星标收藏,大量原创思考文章陆续推出。本人专著《无测试组织 - 测试团队的敏捷转型》已出版(机械工业出版社)。
不知不觉已经到一百五十篇原创了,累计超过五十五万字。继续聊聊 QECON 上分享的下半部分内容-AI 工程的组织管理。上文请看聊聊 QECON 分享-AI Coding & AI Testing。
AI 接口测试的新潜力

接口测试无疑是 AI 测试实践中性价比最高的领域,大多数测试团队积累最多的自动化资产就是接口测试,它比 UI 测试稳定,比其他测试容易掌控,从这个领域变现 AI 价值也最容易得到认同。
理论上 AI 生成接口测试的质量也最可控,也无需花太多精力调教 prompt。只要有接口协议文档和实现代码,AI 用例可以结合业务规则约束生成丰富的参数组合,包括各种边界覆盖和异常场景。如果我们能输入现网业务的流量数据,还可以针对性地构造多样化的测试数据,并能通过分析接口返回数据,自动生成合理的断言,再结合线上调用规则优选。
但接口测试初期实践时也面临一个棘手的问题:本团队的生成经验(skills)如何扩展到其他团队,大家在具体业务协议和实现依赖上有不少具体差异。我认为,先有协议开发的统一化,再有 AI 接口测试的快速普及。
如果我们基于本业务领域知识做一个 DSL(特定领域语言)中间层,把用户操作和 AI 生成 prompt 做个映射,内置业务原语知识,就能更稳定地生成格式统一的用例,耗费的 token 也是最少的。
AI 原生的探索式测试
传统的探索式测试合辑请看这里。聊聊探索式测试理论与实践(合辑共 9 篇)

我认为 AI 时代最高级的测试模式是 “AI 自主进行探索测试”,真正从用户视角挖掘问题,不需要人去设计脚本,不需要让 AI 把工程师的工作刻意模仿一遍。
达到这个境界,人可以用自己的创意指挥 AI 完成测程。探索式测试的理论依然有效,让 AI 完全自由的测试,和让它掌握探索方法和技巧的测试,性价比(成效除以 token)会大不相同,后者可能高出很多。
鼎叔目前有三个实践思路:
一 让 AI 遵循传统的探索方法去执行。如告诉它什么是 “动名词组合测试法”,让它生成组合用例,再来评估可行性。
二 让 AI 读完 PRD 需求文档,再调用浏览器接口进行探索,觉察到和 PRD 不一致的地方就反馈问题,最终输出探索总结。AI 的探索不限于 UI 层,也可以同时探索 DOM 层和代码层面。但是目前 AI 反馈的问题有效性不高,需要人工判断,很多是配置错误或者产品理解不足导致的误判。
三 让 AI 充分自由探索后形成对任务的感知,总结出这个 APP 可以执行哪些任务,什么表现算任务成功,什么算失败,然后输出疑似缺陷报告。具体可以参阅腾讯的开源项目。
测试策略的关键因子
这几年思考 AI Testing 我总会想到关键因子这个词,这是提高用例采纳率的核心。

AI 可以根据知识库生成无限的用例,在人类看来可能存在巨大的浪费,挑选用例的成本超过了 AI 节约的时间。那怎么控制 AI 尽量生成人类认可的用例集?
我认为策略生成规则中应该包含这些设置:
宏观约束。我希望优先生成什么方向的用例,如资金对账变更用例,异常错误用例。
微观补充。如:请参考过去一年的事故报告库,如有相关联场景请生成用例。
团队过往知识。如:
请参考新人 Q&A 或团队 WIKI 生成相关用例。
请参考缺陷库的功能缺陷密度,决定生成用例的覆盖力度(密度越高,用例生成越多)。
现网运行数据。如:请参考线上功能的用户渗透率提高相应功能用例的生成比例。
设置好策略生成因子,还有最后一个闭环挑战:AI 能否自己评测生成的用例集(包括对脚本的评价和对执行的评价),并自我改进?
持续测试(CT)
这个主题反复分享过,看这里聊聊持续测试的进阶

AI 工程时代 CT 的价值被进一步强化了,因为只有持续运行的测试防护网才能保障交付的确定性,对抗 AI 代码的不确定性。持续测试运行的高健康度,就意味着质量不会因为 AI 而腐坏。
DevOps 的流水线质量门禁实践,在前 AI 时代不敢定得太高,担心开发人员搞不过来。但是 AI 时代我们可以理直气壮地提高要求。能用 AI 生成代码,就能用 AI 通过质量检查,否则测试团队就会变成被对手单刀赴会的守门员。
质量数据分析和质量报告生成

测试团队曾花费巨大精力在这一块进行输出,未来得到 AI 的助力也会是最大的。因为 AI 天然擅长总结和分类。
另外,AI 对于人的责任要求非常高。在它无所不知的大脑里,所有线上 BUG 可能都算漏测,都应该改进。如果用 AI 的要求给人定责,可能会过于严苛。
AI 和人类一样,对措施的总结容易戴大帽子,说正确的废话,我在 prompt 中限制它只能输出落地场景的措施,效果就提升不少。
最后一部分,我们看看:
组织转型有什么关键步骤
一 第一步,依然是诊断团队。参考过去的文章。
聊聊团队效能的自我诊断

针对工作场景中的效能洼地,看是否属于 AI 提效的好机会。
AI 时代有全新的能力,也有不变的传统能力,两种能力都需要规划投入。
识别团队中每个成员对于 AI 实践的态度、能力和经验是怎样的。往往一个 AI 热爱者能够手搓一个复杂系统,那么他就可以作为组织 AI 变革的核心成员,其他人为他提供支持、打辅助。
团队可以畅想未来 AI 工程师的一天,哪些场景能让自己更有满足感。
针对 AI 专属 OKR,我们可以选择不超过 3 个高价值场景来聚焦。
关于对人的培养目标,可以设定 AI 能力基线,定义出怎样的渗透率和掌握深度,才算达到了及格线。
二 对驾驭工程进行规划
参考上篇文章聊聊驾驭工程 Harness Engineering,和核心技术骨干一起定义整个团队共建的工程目标,包括驾驭工程的不同层次及分工,以及新型的 DevOps(接入各种 agents)该如何跑起来。

三 先有对规范的理解,再才有 AI SDD
很多 AI 实践团队把 SDD 玩得很溜了,但我认为如果自己的团队还没有深刻理解成熟软件工程的数字化和在线化,就不要指望 AI 能够自己把研发过程跑顺。

初级团队还是先老老实实把基础的研发规范统一好吧,理解规范是如何体现质量内建和质量左移的,把规范变成活的 wiki 及监控规则。
然后再逐步开展 AI SDD,规范就是 harness 工程的一致性目标。
目录形式的规范可以按需加载(人数越多的组织,规范条目就越庞大),避免 AI 上下文处理窗口的爆仓。
四 建设高质量知识库
参考文章聊聊企业使用 AI 知识库的体验

知识库就是为了收录 “我们知道,AI 不知道” 的知识,相关信息类型多种多样。我们可以采用众包奖励的机制加速知识库的建设,直接按照贡献的数量给予相应奖励。
AI agent 可以通过 MCP 接口,返回知识库中向量相似度最近的资料(或者由大模型进行一轮融合后再返回)。
五 设计新型工作流
我们需要面向 “AI+ 人” 的协作,重新设计端到端研发流程。流程各个主要环节是不变的,但我们需要标注出人类要介入的关键决策点和触发条件。传统工程模块和 agent 的调用链是对接顺畅的,流程时序视图清晰。
新型工作流是一个不断替换成熟 AI,并对已有工程脚手架不断拆除的过程(由 agent 接管)。
图片
六 聪明的流程机器人
如何把敏捷教练的经验价值最大化?
本质上是要让敏捷教练的技能在合适的时机出现在合适的场景中。
通用的工作流很难满足各种场景的价值最大化,这时我们可以通过流程机器人进行牵引。研发数据后台发现质效风险时,机器人就可以通过企业 IM 或 agent 提醒相关团队或人员进行处理。
当有一项 AI 创新技能希望进行推广时,机器人也可以在流程中间适时提醒:要不要尝试最新的 skill?
回到组织的 “以人为本”
初期,不同阶段的员工有不同的 AI 转型诉求,需要规划不同的培养目标。

新人。需要适应 AI 工程团队的应用能力要求,从自己用得爽,转变为让团队用得稳。
团队要给新人提供风险可控的练手项目,AI 实践中遇到新问题在所难免,应该鼓励新人大胆实践新想法,和现有核心产品区隔开。
资深员工。长期经验要变成团队工作的套路,公司要为员工技能效果支付奖励。
AI 变革时代会让团队部分人员失去信念感,感觉做什么都会被 AI 蒸馏,努力没有意义。资深员工也许能提供情绪价值,帮助团队树立信念感,找到独有价值,或者单纯就是加油打气,情绪按摩。
架构师修炼。架构师是业务概念演进的核心,也是驾驭工程的整体设计者。架构师应该掌握和 AI 一起互动的深度探究能力,并为 AI code 设计 law。
晋升标准刷新。成熟公司会有自己一套工程师晋升标准或能力模型,面向 AI 工程时代,模型的一些内容要微调。基础工程技能不变,但要更加强调 AI 协作能力和应用知识。
后期,当 AI 工程进入成熟阶段,我认为组织需要研究这几件事了:

一 如何对 AI 工程进行效能度量?交付价值的度量是不变的,但 AI 基础工具和 AI 实践能力成熟度可以纳入度量。
二 如何去 AI 味?如果团队的日常工作中 AI 被滥用,有可能带来文档没人愿意看,方案汇报没人认真听的尴尬。
三 如何提高 token 的利用率?包括员工使用额度控制,大模型选择的场景指南,使用缓存/拒绝服务/远程调用等技巧提高 token 的商业回报率等。
以上三个主题,加上打工者自救主题 - “如何防止自己的技能被蒸馏” 等等,将来可以再专题深度探讨。
分享的最后

我们还是要从组织的长期健康发展角度来看待 AI 工程化转型,而不能仅从减员增效的短视角度来看待转型。(有可能老板本来就一直想减员,只是 AI 工程没火的时候还不敢)
前者需要关注员工的修炼目标和足够的实战培训,关注驾驭工程的设计和迭代,关注知识库和工作流的场景覆盖,关注人(员工和用户),最终才能看见时间的威力。
后者可能导致釜底抽薪,员工不愿意往系统里注入真知灼见,那么,被人本位的竞争对手加速超过,将是大概率事件。
最后用大师兄的启发作为结尾:
现在很多人到四十岁就满脑子想到退休,而大师兄已经九十多岁了,还在坚持创业,他的回应是:不断迎接新问题,想各种办法解决问题,就不会觉得难熬。