测试基础 让 AI 辅助人,而不是人辅助 AI

小黑子-IKUN · 2026年07月04日 · 最后由 MasterC 回复于 2026年07月07日 · 1294 次阅读

一、AI 生成测试用例的 “假覆盖”

将需求文档和相关场景直接喂给 AI,数秒内就能得到数十条格式工整的测试用例。
如:登录、注册、搜索、提交、取消、异常输入等各种页面操作步骤一应俱全,预期结果也写得有模有样。
甚至在评审阶时段粗略来看,覆盖率似乎都远超人工。

然而,但凡你有几年的一线业务测试经验,基本能很发现问题

某些用例设计了七八个操作步骤,最终预期结果却仅描述为 “系统正常处理” 或 “页面展示正常”。
正常的具体标准是什么?
系统究竟处理了哪些逻辑?
完全无从判断。

部分用例覆盖了完整的用户操作路径,从进入页面到点击按钮一气呵成,却完全忽略了对后台状态的验证,如数据是否落库、消息通知是否发送、状态机是否迁移。

还有一些用例看似包含了数据,比如金额 100 元提交成功,但金额为 0、负数、超出上限或并发请求等边界情况,却毫无涉及。

这就是 AI 生成测试用例的 “假覆盖”:表面上覆盖了功能、路径和页面元素,但却未能真正验证关键的业务规则、系统状态变迁、数据一致性以及风险边界。

它只能证明用户 “可以执行某个动作”,却无法证明系统 “正确地完成了该做的事”。

以红包发放场景为例:

AI 可以轻松生成 “发送普通红包成功”“领取红包成功”“红包过期后不可领取” 等用例。
但更关键的验证点,资金是否真实扣除?、零钱流水是否一致?、并发抢最后一个红包是否会引发超发?、24 小时过期退款是否触发?、支付过程中断网重连的状态恢复?这些真正具有高风险价值的检查,全部模糊在 “操作成功” 断言中。

假覆盖最危险之处,不在于它毫无用处,而在于它制造了 “覆盖率已经足够高” 的错觉。
当用例库膨胀到数百条时,团队容易下意识认为该测的都测了。
而真正的风险,又恰好潜藏在这些虚假覆盖下。

二、大量规则做矫正,本末倒置的应对

面对 AI 输出的不可靠和随机性,一种看似自然的应对策略出现了:引入大量规则进行约束。

既然 AI 不擅长编写有效的断言,就强制每条用例填写 “测试目的”“断言对象”“断言结果”;
既然 AI 缺乏边界分析意识,就枚举出输入边界、状态边界、权限边界、并发边界,要求逐项对照;
既然 AI 缺乏风险思维,就把测试方法论提炼成 Skill,通过提示词工程注入。

规则派相信,只要约束框架足够严密,就能将 AI 从 “形式生成器” 驯化为 “质量验证器”。

短期内,这套方法确实能让 AI 的输出格式更规整。
用例表多出几列,字段填得密密麻麻,看似非常扎实。

但沿着这条路继续深入,一个危险且逐渐离谱的陷阱逐渐显现。

测试人员的精力开始发生显著的本末倒置。
原本只需判断一条用例是否明确表达了验证点,现在却必须逐条审查 AI 填写的 “测试目的” 是否正确、“断言对象” 是否准确、“边界类型” 是否完备。
原本精力应该全部投入在思考 “并发场景下资金是否超发”“退款回调失败如何兜底” 这些真正核心的风险上,如今却被大量消耗在审核 AI 是否遵守既定规则上。

测试者不再追问系统最脆弱的地方在哪里,而是陷入对工具输出合规性的逐字矫正。风险嗅觉没有更加敏锐,反而在无休止的规则审查中逐渐钝化。

这已经不是人在使用工具,而是工具在使用人。
工作节奏被 AI 的缺陷所定义,技能树向 “写提示词” 和 “审合规性” 畸形生长。
当沉迷于驯服 AI 的随机性时,测试人员也在一层层交出自己最核心的测试思维。

规则驯服派的本末倒置,正在于试图用堆砌规则的方式,去弥补 AI 能力底层的根本性缺失。
这如同用手工打磨的模具,去纠正一台精度不足的机器——模具越精巧,维护成本越高,而距离真正要制造的产品却越来越远。

三、正确的 AI 辅助模式:AI 为笔,人为脑

AI 在测试设计中的合理定位,不应是被规则捆绑的生成器,而应是一支极快的笔。

一支笔,永远不应决定写什么、怎么写,其价值在于将人脑中的构思快速转化为纸上文字,不知疲倦且高效。而文章的结构、论证的逻辑、观点的锋芒,永远只能诞生于人脑中。

将 AI 视为笔,意味着测试流程需要彻底重塑。

让 AI 负责广度覆盖:把需求文档中可穷举的路径全部草拟出来——进入页面、点击按钮、输入合法值、输入非法值,这些体力密集型工作 AI 的效率远超人工。但这仅仅是素材收集,绝非测试设计。

人的核心任务,是审阅 AI 输出的初稿,并运用领域经验和业务理解,激发出真正的风险联想。看到 AI 生成 “用户取消订单”,人脑中立刻产生一连串追问:取消可在哪些状态下发起?支付状态如何关闭?库存释放发生在哪个环节?释放失败是否触发回滚?优惠券和积分是否需要返还?通知如何发送?操作日志是否记录?这些深层的验证点,AI 可能永远无法主动提出,而测试者必须将所有脑力倾注于此。

最终成型的测试用例,是人的风险判断对 AI 素材的重新编排、合并与补充。人定义需要验证资金一致性、并发幂等性、外部依赖失败时的降级策略;AI 则负责将这些意图快速扩充为可执行的步骤与数据。人是导演,AI 是场务。场务的价值,是让导演的创作意图高效落地,而不是替导演决定拍什么。

真正让 AI 辅助人,意味着人始终站在测试设计的核心位置,AI 只在外围完成速度的加法。人守护测试的魂——对业务风险的敏锐洞察、对异常场景的穷举推导、对系统状态一致性的较真;AI 贡献形——快速铺开、不知疲倦、格式整齐。在这种模式下,人的测试思维只会越磨越利,因为 AI 接管了琐碎,将思考的空间完整地交还。

四、谁为质量负责?

最后,有一种观点必须直言。

在行业内,将 AI 生成各个场景抬到极高地位,鼓吹其能大幅替代人工、解决测试质量问题的声音,经过长期观察,可以得出符合事实的结论:那就是 99% 的倡导者并不真正为测试质量负责。

所谓不为测试质量负责,是指他们无需承担线上业务的实际后果
他们不必在凌晨三点被告警电话惊醒,不必面对因边界条件遗漏导致的资金损失,不必承受用户因缺陷大规模流失的压力。
他们更多从事探索性项目、非盈利业务,或者停留在技术布道和工具演示的舒适区。对于这些人而言,测试是一个可以被演示的流程,而非一份需要敬畏的责任。

因为不承担后果,所以可以轻描淡写地说 “AI 用例覆盖率很高”。因为未身处战壕,所以永远无法体会一个模糊断言在回归测试中可能带来的灾难。因为远离一线,所以会将表面的用例数量繁荣,误判为质量的胜利。

然而,对于真正要为质量兜底的测试工程师来说,每一条用例背后都是真金白银的业务风险,每一个断言的缺失都可能成为线上事故的引线。对他们而言,测试不是一场追求自动化比例的展示,而是一道必须死守的底线。

因此,不要被那些不为质量负责的声音带偏方向。AI 可以作为工具使用,但它永远只是一支笔。握笔的手,必须属于那个半夜会被警报惊醒的人。

共收到 2 条回复 时间 点赞

写的很好,把当前的现状和矛盾总结的很到位。

需要 登录 後方可回應,如果你還沒有帳號按這裡 注册