新手区 作为测试主管，老板要求尽快将 AI 自动化测试搞起来，但是无任何头绪
小公司，组内成员均无代码基础，之前主要是会一些数据库操作结合业务经验进行测试，近年来公司开始转型做一些 AI 项目（例如 AI 提取、AI 推荐之类的），测试人员能上手测试的功能不多，领导要求测试组学会用 AI 进行自动化测试以提升测试效率，无论如何需要有一个方案出来进行尝试一下，公司有部署 dify，想从这个入手，稍微看了下网上资料很少，也看不太明白，有没有大佬能指教一下要怎么做呢？
PS.其实公司的产品都差不多转型为主要做提示词设计之类的，现在公司的需求其实很多就是直接收集的用户的想法然后直接开个讨论会，然后研发直接上手做，实际上也并没有很明确的需求，在此种条件下一方面要求研发尽快出结果，另一方面成品和用户实际想要的出入大，并且提测后问题也较多，因此可能耗时较长，老板可能因此觉着测试效率低，虽然个人并不以为 AI 自动化测试能对此有所改善，但领导如此讲还是需要实践一下的
从一般的 AI 结合测试且产出会比较有保障的角度，有几个方向：
1、AI 基于需求文档生成测试用例
2、AI 基于测试用例，生成自动化测试代码
考虑到你们组内没代码基础，建议可以先尝试第一个，做 demo 尝试啥的比较容易，纯调整提示词就可以，你们也比较好辨别结果是否合适。不过要提高准确率啥的，得弄 RAG，并规范需求文档格式，否则 AI 很容易幻觉或者看不懂需求内容。
陈恒捷
回复
目前的现状就是需求文档很不规范，大多是 AI 写出来的大概就一个思路，产品现在都不介入前期研发了，项目由研发经理主导，目前也想的是第一种，但听领导的意思是老板希望我们做的是第二种
生成测试用例这一步是跳不过去的
duckweeds
回复
第二种的话，尝鲜可以，要做到收益会比较难。
这里一般有 2 种做法：
第一种就是我前面提到的，生成自动化代码。但生成后的代码还需要人去调试修正，且还是得要有代码基础的。用 trae 之类的 AI 代码编辑器就可以做。
第二种是 AI 自主执行，相当于基于你给的一句话或一条用例，自行去尝试执行你的用例，并进行校验。这个今年 MTSC 有一些相关议题分享，需要做 3 个子 agent。
一个基于应用地图（类似于知识库）做路径规划，把你的 新建工单 转换为 到 xx 页面点击 xx 按钮 ；
一个做动作执行，操作浏览器/app，识别界面内容，找到要操作的控件进行操作。这块也许有现成的 MCP 工具可以直接使用。
一个做实时纠正，发现找不到想要操作的控件时，自行想招去解决
个人建议，可以尝试第二种，做个 demo 让老板看看，交个差还是可以的。
但要提效，这个会很难，一个是不稳定（可能第一次跑成功，第二次失败，第三次又成功；而且可能因为自行扩展的检查点不够细致，可能有些 bug 会被放过）；一个是跑得慢（截图、AI 思考都需要时间，比人执行要慢不少）；还有一个是成本高（token 消耗如流水）。至少以现阶段的 AI 能力，个人觉得用外包会比用这个更香。
目前 AI 在测试这一块感觉还是提不了多少效，智能定位不稳定，执行效率也慢，如果公司舍得花钱用好的 llm 和编程软件写自动化代码那肯定更好但是小公司应该不舍得，老板给时间学，可以就都了解下，也是自己在学东西，实现企业级的落地并在测试上还是得花很久的，最快的就用 dify 和 coze 等做一个生成用例的 chatflow 给老板交个差
“近年来公司开始转型做一些 AI 项目（例如 AI 提取、AI 推荐之类的），测试人员能上手测试的功能不多？” 能具体点吗？为什么上手测试的不多？还是公司整体对于这部分暂时没有质量的预期？或者公司也说不清楚。
我理解这个切入点，会比用 AI 提高效率来的更重要。没有测试在前，何来测试效率提升只说呢？
建议两个：
1.AI 生成测试用例大纲
2.AI 结合知识库
第一点为什么不直接生成测试用例？因为实践下来，如果你不是公司自己搭模型去拿各种文档进行训练的话，短时间内 AI 是不可能深刻理解业务知识的，特别是很垂直的行业。所以稍微复杂点的业务，直接生成测试用例是基本不可用的。但是让 AI 结合业界的普遍认知和详尽的提示词，生成测试用例大纲是基本可行的。大纲可以帮助你整理思路，结合大纲再去设计详细的测试用例可以一定程度上保证你的用例不会遗漏一些重要的测试点
第二点 AI 结合知识库主要是类似 cherrystudio 的工具可以直接导入文件并调用 AI。AI 结合知识库可以帮助你快速了解项目的内容，在公司文档比较多的情况下，是可以节省很多自己查阅资料的时间的。毕竟多数公司的文档是杂乱不堪的，查阅起来非常耗时。本人实践过接手一个别人负责的旧项目，AI 知识库让我在很短的时间就把项目的来龙去脉搞清楚得七七八八了，再去理解测试用例就比较容易了
测试小学生
回复
测试环境和正式环境差异较大，就是要求快速上线（测试时间可能不到一周）然后到线上依据线上的数据进行调整提示词（一般是产品进行）
陈恒捷
回复
我感觉还是自动生成代码 快吧 ，我最近搞一个 AI 识别接口文档 然后生成测试用例 ，然后根据用例生成 接口测试代码 感觉效果还可以 就是还是得自己调整 不过我看还可以
UI 的感觉不如接口好做
我觉得楼上可能有点误会你的意思了（如果是我误会了当我没说）
- "近年来公司开始转型做一些 AI 项目（例如 AI 提取、AI 推荐之类的），测试人员能上手测试的功能不多"
- 从话里面看你们应该是 “需要做一套评测系统，评测 AI 提取、AI 推荐的内容是否符合预期”，而不是 “追求 AI 自动化落地”？
- 如果是前者事情就比较简单了，我们这边干这个事大概就是产品先给人工评测标准，测试这边会将标准拆成「大场景 - 小场景 - 小小场景...-分数」，然后让 AI 逐一出分，最终合并分数分到不同档位，低于某个档位的问题梳理出来跟产品 - 开发一块对
AI 在测试设计阶段和测试报告阶段都有很多点可以搞，最基本的测试大纲生成、根据排期表、测试大纲、需求文档、技术文档生成测试方案，根据质量管理系统的测试用例、BUG 情况、测试执行情况去计算覆盖度，进行测试过程中的数据汇总，按照模板生成测试结束后的测试报告。还可以结合自动化验收用例进行需求编排执行自动化。
看我帖子这个开源项目我们公司已经落地了