AI测试 AI 的一些基础知识

zyanycall · 2026年11月19日 · 21 次阅读

我不是很想发 AI 的东西,之前甚至都写过一些,我自己给删了。
在几个月之前,我发现 AI 能做测试之后,我心中有巨大的波澜,那一刻我感觉我自己不会再失业了(幻想一下),但是又充满了恐惧。我很多事情都是想隐瞒下来,包括在论坛逛也是,我的言辞是跟之前不同了,激烈了很多,但是平和和激烈又有什么不同呢,大量的岗位会迅速的消失,不可逆的,我改变不了结果,我只是看到了一些结果。
我是曾经说过,一个用例可以 25 万字符,其实就是用例有 25 万字,我还没说的是,那个测试方案有 65 万字……难道我不想证明这个就是假的么,但可惜,这个是真的,我花了很多精力想减少,想证明这东西写错了,但是字符数没减下去,这玩意儿是真的。

论坛最近几篇帖子在怼 AI,应该和我之前的几个评论有关系,我就发点儿 AI 相关的吧。我在论坛逛了几个月了,其实里面很多观点大家都知道,只不过写的不是那么直白吧,我再稍稍总结解释下。
但是先抱歉一下,首先我不能说太多,太多人情绪激烈,并且很多人靠 AI 吃饭,我没有改天换地的想法。另外我自己的水平有限,论坛大神很多,我抛砖引玉吧。

我以自问自答的方式来写,也是另一种 QA。

QA:最基础的,AI 到底能不能吃下去业务,理解的比人类还深刻。
如果你用的是比较核心的(跑量)大模型,比如新出的 sol6.2、sonnet5.5、carbon(12 月 1 号之前打对折),这御三家的走量模型,再喂给他们 prd 文档,所有的这个需求的会议的聊天录音文字。还有关键的是代码,数据库表结构、(测试)数据,其实写好的代码、已有的数据就是最好的业务文档。
然后你们公司的业务不是太保密的比如军工。
实际上我也不知道什么是现在的大模型训练都够不到的保密项目(保密项目还会上这个论坛么),大模型的基础知识比人想的要多了,AI 实际上什么都了解。
只要这些东西喂给 AI,AI 对这个需求的理解,完全是超越 99% 的人类的,甚至是 100%。
退一万步讲,开发那里的 AI 肯定是对需求有深刻的理解的,要不然他怎么写出没有业务问题的代码的呢,开发的 AI 都能理解的很好,QA 的 AI 也没有理由理解的不好。
md 再退一步,确实有 QA 业务无敌,大家都不知道的业务就这个 QA 知道,这个 QA 比 sonnet5.5 自己推理分析完,知道的还多,那其实也是聊天记录或者新的 bug,AI 可以分析历史的事故、历史的 bug、所有的会议录屏 + 文档、所有的代码,超过业务 QA,会非常非常的快。——其实这是个伪命题,我认为不存在这种 QA(sorry)。
好了,你们公司可能是保密项目,无法用 sonnet5.5,carbon(注意 carbon 特别特别的强),那么是不是好了。
我只能说也是在倒计时状态,因为 deepseek1017 版本目前很强,公司早晚会部署本地大模型,甚至可以用国产大模型的 api,等 deepseek 半年,就打通了。

QA:AI Native 是什么?
对我们所有软件工作者,AI Native 是斩杀线。md 不要吹这个事情好吧,只要人 +AI <= AI Native,这个人就会失业。
甚至让人失业的都不是本公司的 AI Native 水平,公网上 AI Native 的水平就能让全行业的很多人失业。

QA:QA 的核心竞争力是什么?
百度李彦宏前几天分享了,他没有说不需要人,他说未来是 seller 和 builder,这两个概念我们等会聊,这里我想说的是,seller 和 builder 都是人 +AI,所以未来人还是有岗位的(万幸)。那么既然有岗位,就有能力的不同,那么什么能力的人会有岗位呢。
前面有一个公式,就是你 +AI >>(远大于)AI Native,比较稳。
首先你 +AI 的做事天花版,要远远的高于 AI Native,简单说就是你的存在,可以让 AI Native 不断的进化。——这个门槛相当高,并且各个大模型公司也在优化这里。
其次你 +AI 能搞定,现阶段 AI Native 搞不定的需求(注意是现阶段,AI Native 的水平会越来越高)。——门槛也不低,水涨船高,要持续的学习。
但是上面这两点,都要求人对 AI 要非常的熟悉,就像一个战士熟悉自己的武器一样。
那么熟悉 AI 的人,都有什么特征?
首先技术要非常的好,因为 AI 都是看源码提的 bug 的,你不懂技术看不懂源码,看不懂三方包什么的,你连 AI 提的 bug 都讲不清楚,测试用例都讲不清楚。
其次要有非常敏锐的业务嗅觉,人是要跨业务的,因为 AI 让人的能力变强了,人要负责的业务模块会成倍的增加,每天都是新知识,旧的那块责任田不够了。(也是裁人裁的好吧)
然后也是很重要的,要不断的使用 AI,要花钱,好战士都是子弹喂出来的。就用几次的那种,只会聊天的,是不可能熟悉 AI 的。
还有非常重要的,对 AI,对工作要有非常大的热情,要能拿时间去堆去磨,人也要很聪明。
还有沟通能力要强,这个是 seller 的基本要求,builder 沟通其实也要求很高,和 seller 都沟通不明白,还开发个 p 的需求。

QA:未来还需要 QA 么。
质量保障肯定是需要的,只不过做质量保障的人未必是你了。
对于有 QA 岗位的公司,第二个公式,QA >> 研发自测,注意是远大于才行。
这里公式的左侧,无论你用什么方式,用不用 AI 都行,只要你的结果远大于研发自测,公司对业务质量还有要求,还有 QA 岗,那么你就还能稳住。
不过目前都是 AI 来写代码,AI 来做自测了,QA 纯肉身硬顶……画面太美……还是看自己公司研发的自测水平吧。

QA:人 +AI 测试怎么做?
我不是很想回答这个问题,不过论坛内高飞已经解释的很清楚很清楚了,AI 来写脚本来测试,无论是 ui 自动化还是接口自动化,来测试。
这个不是秘密。
但是有几个难点:
一是 AI 怎么能把测试用例写全,这个论坛内有几篇文章在讨论这个。——研发实际上不擅长这个。这个是测试方案膨胀到 25 万字的原因之一,因为每一个用例、每个用例的断言都要溯源(别瞎提 bug,人也是一样好吧),另外 AI 的覆盖面会特别特别的全。
二是人能看懂的自然语言测试用例怎么转化成自动化代码。——这个是测试用例膨胀到 25 万字的第二个原因,用例要让 AI 看懂,需要有很多规则化的写法,和人写的用例结构上就是不同的。
三是自动化代码的断言怎么准确,怎么不是假绿。——断言要溯源,这也让自动化代码会非常非常多。
四是海量的测试用例,海量的自动化脚本,要怎么管理,怎么能写的又快又好。——这个侵入到研发技能领域了,本质上和研发怎么写好项目代码是一样的。
五是怎么能省 token 省钱。——真省钱了,还有你啥事儿了,贵点儿好。
自动化脚本的修复其实和怎么写好自动化脚本是一个问题,不重复讨论了。

QA:人 +AI 测试就没 bug 了?有 bug 不是一样凉凉。
参考前面的公式,你不是要没有 bug,你是要比研发能发现 bug。

QA:什么是 builder?
seller 我不懂,builder 可以简单说下,很简单的说。
比如公司来一个业务了,就像 claude 现在一样,seller 在公司任务榜,发一个任务,这个任务可能是没人做的,也可能是做了一半的,要寻找某个某几个 builder 来实现。
这个 builder 用公司已有的 AI 规则,还有自己独有的 AI 规则(md 没有独有的那不是有你没你一样了),接下任务,注意这个 builder 可能压根儿就不了解这个业务背景,不过没关系,AI 都懂(参考我上面说的)。builder 用自己的时间 +AI 把任务完成,达到交付标准,交付。
公司的 AI 是从大池子来的,全公司的文档它都有,它什么都懂,说什么业务无敌的人别幻想太多了。
注意这些任务是 AI Native 搞不定的问题,所以能到 builder 的人的手里,builder 的能力要求可想而知。
那么 builder 需不需要 QA 的能力呢,肯定是需要的,公司的 AI 套件会有 QA 的基本能力,这个基本能力也是远超市面上绝大部分的 QA+AI 好吧,如果是高质量风险的任务,我觉得是会要求 QA 能力更突出的 builder,需要这个 builder 对 QA 部分的 AI 掌控有独门秘籍。

就说这么多吧,不展开了,也说了,这只是基础知识。
实际上,每个人能掌握 AI 的水平是不一样的,就算我说的再清楚,该不会 AI 的还是不会,就技术门槛一项就挡住非常非常多的人了。
就像说话一样,天赋人权,但是多少人活到老,话也说不明白。——自勉。

暂无回复。
需要 登录 后方可回复, 如果你还没有账号请点击这里 注册。