AI测试 有没有老哥在做大模型测试或 AI 业务相关的测试啊

柠檬Yuki · 2026年06月18日 · 最后由 柠檬Yuki 回复于 2026年06月26日 · 4499 次阅读

如题,我在公司的产品也有接入一些 AI 功能,但是公司没有开展大模型测试、例如鲁棒性,agent 业务流、prompt 测试、RAG 专项和各类指标啥的,就只是单纯的走一下业务,想知道一下现在企业主要做大模型测试的工作流程有哪些,以及如何开展的

共收到 4 条回复 时间 点赞

我在社区写过科普帖:https://testerhome.com/articles/43703 大概有六万字, 你可以先看看。 详细的教程我基本都写在知识星球里了

接入 ai 功能不代表适合做这种专项测试,我现在在做 agent 产品测试,就拿这个举例子。一开始我公司在探索阶段写出来的代码,根本没法按照正常的 agent 评测去做,没有上下文管理,没有记忆管理,有工具调用但是很混乱,这就没法进行流程上的评测了,只能通过 prompt - answer 看他能不能按照预期去回答。真正能不能去做这些测试,还是取决于你们那的开发情况怎么样

孙高飞 回复

感谢分享

Fengtu 回复

也就是说主要看算法那边的架构是怎么样的是吧 如果算法那边只是单纯的调了模型,也没办法做大模型专项测试 谢谢解答

需要 登录 后方可回复, 如果你还没有账号请点击这里 注册