问答 想请教下,像 metersphere、codes 这些受众比较好的开源平台,如何对回归测试进行管理?

ZaZing · 2023年08月17日 · 最后由 codes 回复于 2023年09月04日 · 9478 次阅读

最近试用了 metersphere、codes 还有一些其他的测试平台,对于回归测试的任务和用例管理平台好像都不太支持。
1、metersphere 是测试计划 + 测试用例的管理方式,问题是对于测试计划出现轮次的话,一个是多轮次的执行都是独立的,没办法关联在一起;另一个是回归测试的用例勾选,没办法直接选到上一轮执行失败的用例;
2、codes 是迭代 + 测试用例的管理方式,也是一样的问题,用例倒是能勾选执行失败的用例,但是多轮次的话,只能新增一个迭代。但是这样又违背迭代的概念了。
想问下,在 metersphere、codes 这些受众比较好的开源平台,如何对回归测试进行管理?

共收到 15 条回复 时间 点赞

codes 是迭代 + 测试用例的管理方式,也是一样的问题,用例倒是能勾选执行失败的用例,但是多轮次的话,只能新增一个迭代。但是这样又违背迭代的概念了
我们迭代是有两个层面的迭代,一个是按版本,一个是按时间,不管那一种 新的迭代 你得建的,要不然测试结果不好区分
刚好您问到了这问题,最近我们的计划应能满足你
我们计划 在迭代下,你可按条件把当前把一些用例选出来,然后自动生成一个回归的场景,挂到当前迭代下,这样你就不用建迭代了,相当于,一个迭代下,用例支持多轮执地且执行结果是分开的,在迭下下多一个 TAB 回归测试, 只是每建一次分配,你要取一个回归的名字。

在当前你可用场景来做回归,我们在建场时,支持从别的场景复制用例,然后你再把这场景分到当前迭代下

另外
codes 的迭代和 testlink 等的计划不一样
用例分配到迭代下后,再分配不同的人员执行不同的用例
传统的计划 如果我有 10 人执行用例,你要建 10 个计划,根本不方理管理
codes 多了一层迭代,一方便分配要执行的用例,二可以多人在一个迭代下,执行不同的测试用例,相于于分了"任务"

且迭代下不只是用例,还有 BUG ,任务等

有了迭代这个中间抽像层,方便管理
执行人员,进来缺省是自己名下的用例,且左边只显示 只显示当前人员所分配用例对应的需求,需求树上显示执行情况边上的分数就是执行比例,打钩表示完成,双击还可查看需求明细,

另个还方便查看各人的进度和总进度

这是迭代分工

忘了说了 CODES 你可把迭代中的用例 导出来 离线执行回归 再以导入的方式同步结果到线上,不会新增用例,只是同步结果到线上

我也有这样的疑惑,一直在找寻支持回归测试的 测试管理平台,目前没有发现这样的东西

杨超 回复

codes 我上述的将要做的,满足需求不?

ZaZing #11 · 2023年08月21日 Author
codes 回复

刚好您问到了这问题,最近我们的计划应能满足你

我们计划 在迭代下,你可按条件把当前把一些用例选出来,然后自动生成一个回归的场景,挂到当前迭代下,这样你就不用建迭代了,相当于,一个迭代下,用例支持多轮执地且执行结果是分开的,在迭下下多一个 TAB 回归测试, 只是每建一次分配,你要取一个回归的名字。

后面的那套逻辑确实是满足回归的需要了,但是从操作层面上还有些疑问。
1、从执行角度,迭代中测试的视角是不是计划更好一点,就是上面的这个回归?因为这时候用例更像是一个用例库,是一个供选择的资源池;
2、从质量角度,由于用例多轮的执行,迭代的质量数据应该是汇总的多轮次的执行数据;

ZaZing 回复

1、从执行角度,迭代中测试的视角是不是计划更好一点,就是上面的这个回归?因为这时候用例更像是一个用例库,是一个供选择的资源池;

从计划就有我上面说的管理问题,我个人认为不要拘泥于理论或是概念,只要方便管理,就 OK ,是不是库不重要,关键能从多个渠道选用例来回归就好。
且不能只能测试的视角来看,要从整个研发的视角来看

2、从质量角度,由于用例多轮的执行,迭代的质量数据应该是汇总的多轮次的执行数据 ;
我只是没说而己,这当然不影吶统计,只要数据库库里,想统计这很好办,就怕没有数据 ,要统计

codes 回复

能满足部分需求,多轮次 期望这样
1.比如一共 1 万条 case,这个迭代 V1,抽调 P1 级别的用例共一千条分给 10 个测试执行
2.v2 迭代 分配其余 9000 个用例中的 2000 个用例,就这样大概用几个迭代 把所用用例都分一次
这就需要 每个迭代分出去的用例与 未分配过的用例区分开,才能再下个迭代方便的挑选未分配过的用例

codes 我简单用了下

杨超 回复

这就是 CODES 迭代的东东了,分用例的时候,可以按需求 按测试结果等分,这现在的功能就是这样;

后续我们再加一个从另一个或多个迭代中 加一定过滤条件中分用例到当前迭代

杨超 回复

刚看到您贴的图,应是你后来提交的,

看我上面的图,可以选己分配和没分配过的,以及左面是需求 都可以过滤,只要加上

再加一个从另一个或多个迭代中 加一定过滤条件中分用例到当前迭代
然后统计时把轮区能分开就 OK 了

当前分配用例,条件有很多,不用一个一个去选,设置了查询条件就可以了全部分配
,因为每个迭代,肯定有对应的需求,需求定了,也就是左边的树,再加己分配和没分配的过滤,这很好就区分出来
,还可加用例的状态

总之通过沟通 我明白了需求

codes 回复

博主,官网上的文档相对你这个这么多功能太少了。麻烦有时间完善文档,这样对像用的人来说能了解更多,多谢

yangyao 回复

后续再补充吧,不过再补育也是这种风格的。我们也有用户手册,不般不对外,除非有人要,一个软件如果要看文档才会用,这软件是失败的

1、metersphere 是测试计划 + 测试用例的管理方式,问题是对于测试计划出现轮次的话,一个是多轮次的执行都是独立的,没办法关联在一起
----关于测试计划轮次,会在 3.0 也就是今年 11 月份左右会上线。
另一个是回归测试的用例勾选,没办法直接选到上一轮执行失败的用例
----这个功能,我们会反馈到产品

codes 回复

谢谢上面的回复,假如我多轮次,所有用例都执行了一次,这时候每条用例都标记过状态了
那我下一次开始分用例时 就不能按状态/已分配 分了,希望能有个功能一键设置用例状态 是否分配

codes 回复

那估计你要多写写文档了,不是我一人觉得不会用。毕竟你这个东西太多了,无从下手

杨超 回复

我前面回过,可以从己执行的用例例中选,有一系列的条件,以及从己执行过的轮次中选,总之不能让人一个一个去选,必须支持按条件批量

需要 登录 后方可回复, 如果你还没有账号请点击这里 注册