AI测试 从业测试 12 年,何须迷茫?

Fun_Fox · 2024年08月22日 · 最后由 Fun_Fox 回复于 2024年08月23日 · 6951 次阅读

我的一些思考

作为一名从事测试工作 12 年的专业人士,我深感测试行业的本质在于持续学习。我们需要不断学习业务、系统和质量把控,培养多角色多能力。这是我们在 AI 迅速发展的时代保持竞争力的关键。

面对 AI 的发展,我们不应感到焦虑。事实上,各公司在垂直领域中的 AI Agent 落地实践与我们的工作有许多相似之处。这为我们提供了新的学习和发展机会。

测试不仅仅是一个职位,它更像是质量、效率、业务、技术和交付等多方面的"润滑剂"。我们的工作极具目标导向性,对产品和系统的成功至关重要。

虽然企业中大语言模型 Agent 的最终目标是模仿我们的工作,但这个过程仍然漫长。未来的成熟方案必定与现在不同。目前,AI 在代码编写和需求总结方面确实取得了显著成功,但仍有很长的路要走。

回顾我的职业生涯,12 年来我未见有工具能完全替代人。唯有思维方式的革新才能让人"退居二线"。因此,我们应该专注于提升自己的思维能力和适应性。

  • 企业知识库管理是一个巨大挑战,真正能做好的人寥寥无几。即使是看似简单的多版本管理,做得好的也很少。作为测试人员,我们应该:

-- 提升对企业知识内容的沉淀能力
-- 从全局到细节、从正向到反向,深入每个垂直领域
-- 记住,垂直领域的知识是决定"江山"是否稳固的关键
(我们不仅要会"写作业",更要会"检查作业"。作为经验丰富的测试人员,我们应对高效流程和逻辑思路了如指掌,对系统质量的把控应炉火纯青。)

  • 技术承载的逻辑思维能极大地提升我们的测试能力。现在有许多开发人员转向测试,甚至有 10 多年开发经验的人也在做测试。但仅有技术思维而缺乏质量把控思维是远远不够的。我建议大家:

-- 补足自己的技术思维
-- 广泛深入地学习技术
-- 记住"一法通万法通"的道理,学好一种方法,思维就能全面提升
(虽然我们不需要亲自"写作业",但如果不熟悉技术思维,又怎能有效地"检查作业"?)

  • 在这波互联网红利中,测试角色的权重可能不及开发或架构。但我们的核心优势在于:

-- 持续学习
-- 紧贴业务
-- 在垂直行业深耕
-- 能够从新技术的潮起潮落中汲取精华

对未来的展望

  • 随着 RAG(检索增强生成)技术的出现,未来的知识库管理将需要一个全面的、既贴近业务又贴近技术的角色来进行衔接。在这个过程中,基层测试人员将成为核心一环。他们:

-- 处于业务一线,汇总多方意见,从繁重到核心脉络,顺核心脉络到各个细节。
-- 维持企业垂直领域的业务沉淀
-- 在产品、开发人员流动频繁的情况下,确保业务系统的稳定性

企业人员流动是常态,如果知识沉淀做不好,不要说 RAG 了,连微调都难以实现。难道要花大把钱去招聘大量行业数据标注师吗?
这项工作可能看起来枯燥,做得好的人往往默默无闻。有些公司甚至会外包给写手公司。但这绝非长远之计。我们应该着力提升自己的结构化思维和文本表达能力,镜水楼台先得月。

  • 在接口测试方面,AI Agent 正在落地到 RPA 机器人或外部接口调用。这些技术对测试人员来说并不难理解。RPA 本质上就是自动化,而大语言模型的 text2api、text2 自动化流程,反过来看更像是测试过程的另类效能产品化。这种例子比比皆是,就像早年的 Selenium 最终催生了爬虫技术一样,为何我们不加入其中。
    谁还会比我们更适合做一个 Agent 设计师?前提你要了解一下现有 Agent 体系。但是思维方面我觉的测试人员更严谨。虚心学习吧

  • 在安全测试领域,我们可以将测试手段代码化,进行集成,并思考如何与 LLM(大语言模型)对接。这为我们的工作开辟了新的可能性。

  • 测试的知识体系极其繁杂。大部分业务线测试人员:

-- 了解多个开发人员的业务逻辑
-- 熟悉行业里用户的思维方式
-- 善于排查和定位问题
-- 掌握公司业务线的整体情况
-- 具备跨系统的知识
-- 能写代码、会看代码
-- 上得了厅堂,下得了厨房

为了保证质量,我们必须无所不用其极。技术 + 业务 + 目标 + 自驱动

(如果你想做一个稳定的质量把控人员,不想频繁换号重新练;系统把控不好总有一天会崩在你自己手里,既要控、又要沉淀、还要灵活,打江山容易,守江山难)

最后,让我们换个角度思考:如果 AI Agent 真的能完成所有这些工作,那么安全性和可解释性又该如何保证?没有这些保障,谁会愿意使用 AI 而不是人类呢?我认为,这波大潮之下,幸运的,不幸运的,都别给予释放自己的情绪,我们需要静下来、换个角度适应突破自己、努力让自己的能力更加立体化,充分展现自己的价值。

超越标签,立体发展,共筑系统晴空,吸引人才,坚守质量之路。

【以上内容使用 Notion 进行了写作提升】

搬砖总有一天不容矫情,思考很重要。只要你思考,还有很多方向可以前行。小水花,就小水花呗,就当是为行业做贡献了。

再聊

共收到 16 条回复 时间 点赞

再聊一下我对 AI Agent 的浅薄认知,LLM 大语言模型是我们的大脑, Agent 是工具、是手脚、脑子要调用手脚、要拿起榔头和斧子,要学习、要判断。
在企业垂直行业,相对来说,持续学习接触业务、技术、多方人员、知识面宽的我们,我反到觉得才是最合适的,如果能熟悉一些 AI Agent 知识,做一个企业内部 AI Agent 的"步道师"未尝不可

今天简单画了一个由意图分类串起来的 AI Agent 设计。希望能提起各位的兴趣

在我目前的思想理解上,现在市面上的 agent 开发平台例如 langflow/dify/coze/chatdb 无非是原本 flow 中一些特殊节点(llm 相关的逻辑推理/知识嵌入/rerank),例如与测试相关的流程类的用例中,因为原本就包含一些控制器步骤(if/for/while)只要步骤增加一些 llm 相关的处理节点,外部套入 sse/ws 接口,就可以对外暴露出一个自己配置的 ai 助手。

Fun_Fox 回复

我的思路和你的差不多,不过你这里应该还可以继续细分知识类别,并加入知识库的标识特征,让他检索的时候可以减少检索的量,可以加快答案回复的速度

现阶段 AI 取代人工不现实,我们这有一个部门是 AI 员工,但是只能起到辅助作用。 AI 部门没办法从需求到落地直接搞定,需要人工去拆解功能点,理顺业务,然后发给 AI 员工,由他们输出测试用例、执行计划啥的。输出之后的文档也需要人工二次评审,AI 员工只是取代了最不需要思考的重复性工作。

AI 员工,这种都是测热度,自嗨,随便部署一套的吧。
第一步应该是 要把事情分成几步,几个角色,解决具体问题的 AI Agent
积累多几个 Agent
然后再 多 Agent 联合更好的完成一件事情,组一个 AI Agent 团队
实际现实的工作,1 个脑袋怎么想的全...多几个试试

sir 回复

知识库肯定要有,没有垂直业务知识,做的东西都是跟现实脱节的,但现在知识库召回效果不咋滴哦。

Ayo 回复

😅(dify 不错、Flow-RAG 也可行)

市面上优秀的 LLM_OPS 类轻应用配置平台那么多,为像接口测试一样配置,不伦不类哈。
现在这种测试平台说实话,轻应用有很大局限性的。限制想象力
行业就是存在变化,每 3 年什么体系都会变,平台的更新都赶不上技术的发展....

Ayo 回复

办公智能,以后企业内部的 API 是一个很大的接入口(企业 API 知识库)。Agent 来分配哪些事情让 LLM 调用什么 API 库。(API 统一化管理进行安全监控)感觉https://www.eolink.com/ 可以朝这块走走

Fun_Fox 回复

像是 LLM Agent 这种开发配置平台,万变不离其宗其实就是个 Flow, 至于是 DAG/LIST 其实也只是一个展现交互方式。 另外我个人觉得这个应该做在低代码平台上面,因为对于低代码平台来讲本身具有规则引擎,并且 API/DB 等这种仅仅是获取资源的一种方式,他们并不该做为平台主体,作为依赖项更贴切一点。

迷不迷茫,被裁一波就知道了。

Fun_Fox 回复

这个应该会是趋势的

Fun_Fox 回复

我现在是尽量让召回做到唯一,体量不大的时候还是可以的

Ayo 回复

微调、蒸馏,一起都用上吧。有这块的新的发现,到时候一起分享一下

需要 登录 后方可回复, 如果你还没有账号请点击这里 注册