AI测试 应答类的 AI 要怎么测试

jacky · 2023年07月03日 · 最后由 神雕 回复于 2023年07月03日 · 5654 次阅读

公司内部的应答类 AI,有哪些方面可以入手测试?刚从业务系统转战 AI,能想到的只是功能方面一问一答的,还有别的方面吗
谢谢各位大佬了😁

共收到 4 条回复 时间 点赞

chatgpt 的回答:

作为公司内部的应答类 AI,您可以从以下几个方面入手测试和调试:

功能测试:主要关注您的 AI 是否能够正确地回应用户的提问或需求。测试时可以模拟常见的使用场景或者构建各种测试案例,确保 AI 能够正常工作并给出准确的答复。

语义理解和意图识别:测试您的 AI 在理解用户输入时的准确性。验证 AI 是否能够正确地理解用户的意图,并能准确地识别关键信息。

对话流程测试:测试 AI 在长对话或多轮对话中的表现。您可以构建一系列连续的问题和答案,验证 AI 的对话流程是否顺畅,是否能够正确地记住上下文,以及能否提供一致性的回应。

异常情况处理:测试边缘情况和异常输入。例如,模拟用户提供错误、模糊或不完整的信息时,AI 是否能够给出合理的提示或处理方式。

性能和稳定性测试:测试您的 AI 在高并发、大数据量或长时间运行时的性能和稳定性。确保 AI 能够在繁忙的环境中稳定运行,并能够快速响应用户的查询。

此外,您还可以根据具体需求和使用场景,考虑测试可用性、安全性、多语言支持、声音合成/识别等方面。总之,全面的测试能够帮助您发现和修复潜在问题,提升应答类 AI 的质量和用户体验。

陈恒捷 回复

有点道理,我先试试,谢谢~

看你们是什么样的模型吧,通用类还是垂直类

国外有 benchmark,要构建一个基线拿来批量测试
另外直接和 chatgpt 对比测试,一些基础信息当 prompts 投喂进去

需要 登录 后方可回复, 如果你还没有账号请点击这里 注册