问答 基于人工智能的测试流程

weikjio · 2023年07月24日 · 最后由 waitnglu 回复于 2023年11月09日 · 6074 次阅读

之前领导喊看看关于” 基于大预言模型的测试 “,还给了 2、3 个参考连接,喊我们看看,思考、探索,结果看了一个月,一个早会讨论半小时,好,不合适我们。
(我们是银行测试)

最近领导又喊要探索” 关于人工智能的软件测试 “,大概意思是,把人工智能融入测试流程,以后就可以少点人投入,只给了题目,开放式讨论。
然后我提出的比较基础,给你一个需求怎么生成用例(ui、api),怎么执行之类的,就需要投入训练之类的,我又不是专业开发,这些也不懂,怎么下手。
求助!求助!求助!

或者大家有更好的建议的学习学习。
谢谢~

共收到 5 条回复 时间 点赞

想说和题主有一样的困惑,领导要求 ai 赋能但是不知道怎么赋,有些东西做出来可能并没有什么用,投入产出比是负的。

分享一些个人对于人工智能以及如何将其转换为实际落地的一些思考。本身这方面不算专业,仅供参考。大家有其他意见也欢迎交流分享。

个人觉得目前接触到的人工智能从大类上,大致分为两类。一类是机器学习,另一类是今年开始火的大模型。

  • 机器学习

基本上今年之前提到的智能化测试,都属于这类。核心逻辑是把问题转换为模型,然后用机器学习,让模型输出更准确。大致步骤:

1、把输入转变为数据(或者叫提取特征),然后对数据进行清洗、打标,产生训练集和测试集。
2、基于场景需要,寻找合适的机器学习模型,然后用训练集进行训练,用测试集检验效果
3、最后放到实际业务里面使用,过程进一步循环 1、2,使模型输出更精准。

详细步骤可参考:https://www.51cto.com/article/661538.html

目前看到过的应用场景:精准用例推荐降噪、流量回放降噪、图像元素识别等。可以看看 MTSC 大会历年和 AI 或者智能化相关的议题看看。

优势:已经发展很多年,比较成熟
不足:对数据比较依赖,且基本只能用于特定场景,换个场景复用度比较低。所以中小厂一般很少做,只有大厂有足够的资源进行相关基础设施建设,以及有足够大的数据规模,才比较能做起来。

  • 大模型

这个最典型的就是今年开始火热的 chatgpt ,或者也叫 AIGC 或者 LLM(Large Language Model)。相比机器学习类,因为 openai 直接提供了很方便的 api 调用接口,所以也相对来说比较容易落地。

目前了解到或者接触到的应用场景:业务测试用例生成、自动化测试脚本生成、代码 review 意见生成进而辅助人工 review 等。建议可以看看这个文章,里面有其他人对于大模型赋能质量保障的一些想法和探索,讲得会比较全:https://testerhome.com/topics/37001

由于通用模型的返回太通用,很多时候不一定可以准确匹配需要,据了解各个大厂都有在基于开源的大模型,结合自己的业务场景数据,训练适合自己的大模型,提高准确度。

优势:模型强大,且外部有第三方直接调用 api 使用的模型,接入成本很低,可以快速尝试
不足:使用通用模型的话,返回结果还不是特别靠谱,需要多次交互才能得到一个比较不错的回答。更适合作为参谋,辅助工作。

陈恒捷 回复

讲的很好啊👍

陈恒捷 回复

在大模型方向有相关应用的案例吗,那篇文章感觉是探讨问题更多,想了解具体落地的相关应用

基于大预言模型的测试,有相关参考的链接分享一下吗

需要 登录 后方可回复, 如果你还没有账号请点击这里 注册