华夏有一极恶之兽,二足二手,顶生白发。擅唱,跳,rap。练二年又余,便呼全民者好,乃拋衣,得球起舞。起舞之时,多作赞美家禽之言,大呼:鸡甚美!往返反复。叫声凄凄然,其吊带一松,便上下窜动,令人生畏

  • 我是觉得社区的人跟杞人忧天一样,天天担心这担心那,有的干就干,真干不了了,大家都一样。而且把 AI 说的跟没成本的一样,而且还是基于当前可以无限进步的理想场景,以前房地产势头正盛时也是,谁觉得会跌?谁会猜二线城市房价会砍一半的, 都是势头稍微好一点,就开始论断未来了。颇有以前那种速胜论和速败论的既视感

  • 真到那时候,那还说啥,我直接去卖猪肉或者学理发

  • 有感觉,尤其是是"兄弟,你这个观点非常精准'、"你的思路非常牛",然后顺势把话题又拉回自己架构方案的回复,确实挺像机器人客服。

    不过这事本身也挺有意思的,大家一边讨论 AI 到底有多强,一边又忙着鉴定谁的回复像 AI,有人把 AI 的未来吹到不需要提示词了,有人看到 AI 生成的内容又开始嫌弃没有独立思考。

    假如帖主真的全程让 AI 自动回复,那我反而觉得这也是一种应用场景,至少把 AI 用到了社区互动上,只不过目前这个 Agent 看起来比较擅长夸人、复述观点,以及把话题重新引回自己的技术方案。

    说到底,现在挺多自己用 AI 叫提高效率,别人用 AI 就叫没有水平;自己相信 AI 是未来,别人用 AI 又嫌弃缺乏灵魂。大家似乎都挺推崇 AI,但又都希望 AI 只替自己工作,不要替别人工作。

    最后比的好像不是谁真正解决了问题,而是谁更会证明自己比别人懂 AI。

    就好像我让 AI 回复这句话,这句话是我说的,还是 AI 说的这件事重要?,还是回复这个观点是否正确重要?

  • 我今天在想,如果 AI 通货膨胀,那跟 AI 紧密相联的项目是不是直接就原地升天了

  • 哈哈,首先澄清一下,我并没有黑谁,只是大家的立场和观念不同,对一些事情的看法不一样而已。观点不同很正常,讨论技术和社区话题,本来也不应该要求所有人保持一致。

    至于社区,我觉得也不应该是谁是管理员就由谁说了算,管理员有管理员的职责,但社区能不能保持健康的讨论氛围,最终还是取决于每个参与者,大家可以有不同意见,也可以争论,但至少应该允许正常的观点表达,而不是因为意见不合就给人贴标签。

  • 我可不敢和他有争论,我就是在我那篇文章下和他辩论了下,他就各种扣帽子和答非所问了,不理他就行了,都没想到现在社区还玩站队这种,我就说了下 AI 不可靠就引起他的愤怒了。。。。。

  • 一个真正有项目经验的测试人员,看到 26 万字符的测试用例,第一反应通常不应该只是惊叹于数量,而是考虑需求覆盖、用例有效性、执行成本、维护成本以及测试收益。能确定你是有经验的

  • 这个思路确实不错,本质上就是在建设一套可控、可恢复、可复现的测试基础设施,数据和环境问题通过工程化手段解决,我是认同的。

    不过我觉得这解决的是 AI 执行测试的前置条件,而不是 AI 本身的业务理解和推理能力。即使数据和环境都准备好了,复杂业务规则的理解、测试场景的推导,以及最终结果的正确性判断,仍然有模型能力的限制。

    所以我更倾向于工程体系负责提供确定性的能力,AI 在这个基础上做场景编排和辅助分析,两者解决的是不同层面的问题。

  • 我觉得这里可能需要区分一下工程层面的问题和模型本身的能力问题。

    执行层放在成熟的自动化框架下,我认为是比较合理的。接口调用、UI 操作、数据库查询、断言这些能力,本身就不需要 AI 重新实现。

    但复杂业务数据的理解和构造,我觉得不完全是测试框架能够解决的。

    我们可以给 AI 提供数据模板、数据工厂、业务接口,甚至把一些复杂的业务规则封装成工具,让它调用。但最终它能不能真正理解需求中的业务关系,能不能正确组合数据,能不能推导出符合业务约束的测试场景,这些还是取决于大模型自身的理解和推理能力。

    工程侧能够做的是降低模型完成任务的难度、约束它的执行范围,并通过规则校验保证结果。至于模型本身的业务理解能力、复杂推理能力和执行稳定性,我认为还是需要依赖大模型持续迭代。

    有些问题不是再增加一层 Agent、MCP 或者封装更多工具就能从根本上解决的。

    所以我个人觉得,现阶段没必要为了追求 AI 完全自主执行,强行把所有问题都在测试框架层面解决。能通过工程手段解决的先解决,超出模型当前能力边界的,就应该承认它暂时做不到。

    毕竟我们最终要的是可靠的测试结果,而不是证明 AI 什么都能做。

  • 我个人对目前 AI 执行测试用例这个方向还是比较谨慎的
    文章讨论的方向是有价值的,AI 从需求分析、测试用例生成逐步延伸到自动化执行,本身也是一个很自然的发展过程。不过,我觉得这里可能存在一些理想化的成分:AI 能够完成一系列操作,并不意味着它已经具备独立承担测试工作的能力。

    类似金融系统测试,这类业务对测试结果的准确性和可追溯性要求比较高。

    举个例子,银行核心系统的贷款利息计提测试,测试人员准备好贷款本金、利率、计息周期和计息规则,然后执行月末批量计息任务。任务本身可能正常执行,接口没有报错,批处理也显示成功,但实际计息金额可能存在问题,例如利率生效日期错误、计息天数计算错误、闰年处理不正确,或者舍入规则存在偏差。

    这时候 AI 能够完成任务调度、执行接口、查询数据库,甚至分析计算结果。但是,假如实际结果与预期相差 0.01 元,AI 判断这是精度误差,自动放宽断言容差或者修改预期结果,让用例重新通过,那么它究竟是在修复自动化问题,还是掩盖真实的业务缺陷?

    我认为这两者的区别非常重要。

    测试工作的核心不是把预定流程执行完,而是验证系统是否符合业务规则。尤其是金融系统,很多问题并不会直接表现为接口报错或者任务失败,可能只是某个边界条件下的金额计算错误、状态流转错误或者数据不一致。

    所以,我更倾向于把 AI 定位为测试辅助工具,而不是现阶段就让它独立承担测试执行和结果判断。

    具体来说:

    1. 需求分析、测试场景提取、测试用例生成,可以利用 AI 辅助,但业务规则和预期结果需要人工审核。
    2. 自动化代码编写、接口脚本生成、SQL 编写、日志分析和缺陷定位,是我认为 AI 目前比较有实际价值的方向。
    3. 自动化执行可以引入 AI 调度,但底层仍然使用成熟的接口、UI 自动化框架,执行步骤、测试数据、重试策略和权限都应该有明确约束。
    4. 最终的业务断言应该独立于 AI,例如金额计算、账务平衡、状态机、幂等性和数据一致性,不能让 AI 根据实际返回结果自行修改预期。
    5. AI 可以分析失败原因、提出脚本修复建议,但涉及业务断言和测试预期的修改,应该经过测试人员确认。

    其实还有一个问题值得讨论:AI 自动化执行成功率,究竟应该怎么衡量?

    一次 Demo 能够完整跑通流程,并不能证明它具备稳定的工程能力。至少还应该关注相同数据和环境下多次执行的一致性、失败后的可复现性、错误通过率,以及 AI 是否会因为自动修复而掩盖真实缺陷。

    我并不是认为 AI 不能执行测试,而是觉得目前很多讨论过于关注它能做什么,却相对忽略了它做错之后怎么办。

    传统自动化测试追求的是可重复、可验证、可追溯,而 AI Agent 引入了动态决策和概率性的不确定因素,两者并不是不能结合,但也绝不是接入一个 Agent 就能解决的问题。

    AI 可以帮助测试人员完成更多事情,也可以让自动化执行变得更加灵活。但如果让它在没有明确边界和验证机制的情况下,自主规划、自主执行、自主修改,最后再自主判断测试通过与否,我觉得这更像是在赌它这一次能不能做对。

    测试的严肃性不应该建立在 AI 的自信上,至少在现阶段,我还是更认可:人制定规则,工具负责执行,AI 辅助分析,人来判断结果。

华夏有一极恶之兽,二足二手,顶生白发。擅唱,跳,rap。练二年又余,便呼全民者好,乃拋衣,得球起舞。起舞之时,多作赞美家禽之言,大呼:鸡甚美!往返反复。叫声凄凄然,其吊带一松,便上下窜动,令人生畏