多学习一些 Skill 的设计方法， 会有一些节省 token 的方案的。 我现在也开始尝试牺牲一些准确率来节省 token 的尝试。

我大概明白了， 你的诉求应该是自然语言转接口自动化测试用例。 这个需要你事先把接口录入给大模型，让他生成访问的代码。 或者有接口的详细调用文档。 要 AI 去写代码，还是必须要有知识库的。 这样你就可以用自然语言的测试用例转成自动化测试代码了。

没看懂， 你这是要做什么？

手动测试的时候怎么造的数据， 就让 AI 怎么造

当前项目中所有的代码和文档，默认都会 embedding 并且保存到向量数据库中。 所以大模型每次运行其实都会去参考已有的文档和代码，这样它就能明白， 你说的用例步骤，其实在其他 case 里写过类似的并进行参考。 这也是为什么我一直说 知识库 是 AI 编程最重要的东西。 那什么是知识库？ 在你工程里一切的代码和文档都可以是知识库。

各种专项测试的工作流其实很有价值的，我现在性能测试和高可用测试都用 Agent 来执行

首先用例和需求肯定是要积累成一些文档的， 然后生成 case 的方法论和产品测试要点也要有。 再然后你可以搜一下 harness 的设计方法论， 这个方法论是能让 Agent 稳定高效运行的方法论，按这个思路去设计。如果你觉得 harness 太耗时或者太废 token， 那你也可以单纯遵循 “渐进式披露” 原则， 先写一个生成 case 的 skill 出来试试看。 你可以搜一下我提到的这几个设计方法。

想要 AI 效果好，知识库必须要好好积累。 这个知识库不仅仅是业务功能文档，还有设计测试用例的方法论和你的产品的测试特点。 比如在我们的产品里，如果模型广场里新增了模型，或者动了模型的逻辑。 那需要遍历到整个产品里所有跟模型有关的功能点。 所以在我的知识库里，专门有个文档是记录所有与模型相关的功能点，并在 skill 里告诉大模型，在这种情况下一定要遍历这里的所有模型相关的功能点。 而如果是涉及到前端的逻辑，知识库里也写好了各个模块的前端交互的流程，并且在 skill 里写了工作流， 就是识别到跟前端有关的操作。 要反复向用户确定是否有 figma 的交互稿，如果没有，设计到的输入框是否有字符数的限制等问题。

同一个模型， 不同的人用的效果天差地别，就在于使用的 “人” 是否有耐心，愿意去学习如何跟 AI 打交道。

开发人员用 AI 编写代码带来的最大的问题就是质量会更差。起码现阶段是这样的，很多开发同学还不得的用 Harness 的理念去设计 Agent，所以导致出错的概率比较大。所以呢，我们为了解决这个问题需要利用 AI 来去快速地生成大量的自动化测试用例。我们现在公有云的门禁的运行时间，就需要跑 5 个小时了。这是大量的自动化测试用例积累的结果。基本上这个门禁能跑下来。产品的质量问题就不会很大了。

有些时候，一些不起眼的地方，提升起效率来也挺夸张的。你比如说测试用例的编写，用传统的方式去写测试用例，花的时间很长。我们假设要编写 100 条测试用例。如果说要编写的相对比较详细一些，那么这 100 条测试用例的编写工作可能就会耗费一天时间，甚至更长。但用 AI 来去写的话，可能就是 10 分钟之内的事情。即便说你没有很好的知识库，让它自动探索出很好的用例。但我们就用人力来去编写测试点，然后让 AI 去生成更详细的步骤。这也是效率的一个很大的提升。