AI测试 各位大神,现在想学习 AI 测试,但是不知道从哪里入手,各位大神分享一下经验吧

子夜 · 2024年07月08日 · 最后由 magicyang 回复于 2024年07月09日 · 4624 次阅读

各位大神,现在想学习 AI 测试,但是不知道从哪里入手,各位大神分享一下经验吧。非常感谢!!
作为一名测试工程师,隐约感觉到 AI 测试是以后的一个方向,有可能以后找工作会有一个更多的选择。但是没有接触的 AI,也不了解现在国内或者北京这边做 AI 的公司都用哪些测试工具和测试方法,测试策略。所以求助各位做 AI 测试的大神,帮助小弟一下。
1、AI 测试常用的测试工具有哪些?
2、AI 测试的测试方法和测试策略有哪些?
3、网上有没有 AI 测试的实战例子?
非常感谢,各位大神!!

共收到 16 条回复 时间 点赞

要区分一下,你是要测 AI,比如测大模型。还是用 AI 测你自己当前的业务

功能测试

怎么说呢, 我开了个知识星球专门教别人如何测试 AI 产品, 也有开过课程。 但是我还是得先澄清一下, 没有任何 AI 底子和工作环境的人, 学这个东西还是很吃力的。 而且学了以后还是尽快要跳槽到相关的岗位上去的,要不然学完了不复习也容易忘。 所以楼主你下定决心要学这个了么。

子夜 #13 · 2024年07月09日 Author
孙高飞 回复

恩,非常确定呀,因为现在的职位好多都是 AI 方向的,其他竞争太多

孙高飞 回复

拜读了孙老师的帖子,感觉类似,无经验 + 未参与测试和使用过大模型产品的人根本就不知所以,没有一定大模型研发能力的人我认为都难以理解内部逻辑,更何况是凭空想象的呢,AI 相比车载类的更难以入门

怎么学呀

孙高飞 回复

哈哈,你又在和稀泥了。
直接一点,只有大厂才有专职 AI 测试。
大厂为啥要招一个靠自学的没有实际经验的测试?
招应届 211 硕又简单又省事。
--像我这样 200 来人的 AI 公司,要啥 AI 测试。。。

首先是 AI 测试基本都是 AI 行业中混的不错的公司才有这个岗位,和系统测试不一样,一个小公司,哪怕十来个人的开发,也会招系统测试,因为系统测试价值高一点,能够避免错误,AI 测试并不是,首先 AI 并没有 Bug 这么一说,AI 叫效果好坏,所以算法人员自己可以去做评测、性价比更高的标注人员也可以去做评测。纯 AI 测试的大部分时间都是在分析数据,编写 AI 评测报告(这个蛮重要的,是衡量或者说对外吹牛逼的一个素材,也是体现 AI 测试价值的地方)。关于测试集,基本上都是标注或者采集人员负责提供,测试人员最多也就是做做数据处理。另外通过对测试集的合理分析找到算法的优劣势也算是 AI 测试有价值点的地方。

相对于纯 AI 测试,AI 引擎测试更为专业和抢手,因为 AI 引擎测试需要对模型部署的产物测试,对测试人员要求也更高,要回 c++ 写 gtest,代码能力基本要达到一个初级 C++ 开发的水平了

做 AI 类的测试三年多了,做过 NLP,CV,引擎端、模型端测试,现在感触就是这个岗位 跳槽不好挑,就那几家公司有这个岗位,但是这个岗位的上限也很高,做的好的比大多数开发的工资都要高

先读个研究生

magicyang 回复

同感,现在能进入 AI 的,基本盘应该都是相关专业的硕士应届生

所以我才问楼主确定要学么, 硬学确实很吃力的。 想要要搭建个模型环境来模拟测试场景还是挺费劲儿的。 只建议强烈希望转到 AI 测试领域里的人, 或者已经在 AI 领域内的人来学习。

@ 孙高飞 孙老师 除了 AI 还有什么可以 0 基础易入门有前景的业务类方向啊 求推荐

子夜 回复

建议你先去看看我之前的帖子, 尤其是《我们是如何测试人工智能的》这个系列。 这里面讲了一些比较简单的场景。 然后可以去百川,通义千问, 文心一言这样的大模型网站去感受一下,他们的优点是模型是在线的, 而且给你体验功能让你去使用一下大模型的问答和知识引擎的功能。 然后想一下如果是你在测试这些大模型(也包括多模态的大模型),你也要怎么做(可以结合我的帖子来想)。 再然后可以去腾讯的 TI 平台或者阿里的数加(好像是这个名字吧我忘了),这两个是公有云的人工智能平台,你可以在这上面去用他们的产品建模, 你想想测试这样的产品需要学什么东西。 再然后如果想感受计算机视觉的东西, 可以下载一个 yolo 模型(目标检测模型), 用它提供的库跑通目标检测的功能。 然后再结合我的帖子, 看看如何评价这个模型的效果指标。

上面这一套如果你能坚持下来, 起码你就大概知道在 AI 领域里做测试,大概都要做些什么事了。 然后到那个时候如果你还坚定的走这条路。 可以来找我,加入我的星球。 或者你不想知识付费也没关系。 就按我在社区里留的帖子去自学也是可以的。

王中 回复

我也不知道啊。。。我觉得有前景的东西想 0 基础入门都是很难的。

孙高飞 回复

哈哈哈 万事开头难 0 基础确实做啥都难

fangyu 回复

汗。。。。
按我老板的说法,市场上到处都是 15K 的 C++ 开发。随便招。。。
门槛肯定不能是在开发技能上。。。

需要 登录 后方可回复, 如果你还没有账号请点击这里 注册