最近试用了 metersphere、codes 还有一些其他的测试平台,对于回归测试的任务和用例管理平台好像都不太支持。
1、metersphere 是测试计划 + 测试用例的管理方式,问题是对于测试计划出现轮次的话,一个是多轮次的执行都是独立的,没办法关联在一起;另一个是回归测试的用例勾选,没办法直接选到上一轮执行失败的用例;
2、codes 是迭代 + 测试用例的管理方式,也是一样的问题,用例倒是能勾选执行失败的用例,但是多轮次的话,只能新增一个迭代。但是这样又违背迭代的概念了。
想问下,在 metersphere、codes 这些受众比较好的开源平台,如何对回归测试进行管理?
codes 是迭代 + 测试用例的管理方式,也是一样的问题,用例倒是能勾选执行失败的用例,但是多轮次的话,只能新增一个迭代。但是这样又违背迭代的概念了
我们迭代是有两个层面的迭代,一个是按版本,一个是按时间,不管那一种 新的迭代 你得建的,要不然测试结果不好区分
刚好您问到了这问题,最近我们的计划应能满足你
我们计划 在迭代下,你可按条件把当前把一些用例选出来,然后自动生成一个回归的场景,挂到当前迭代下,这样你就不用建迭代了,相当于,一个迭代下,用例支持多轮执地且执行结果是分开的,在迭下下多一个 TAB 回归测试, 只是每建一次分配,你要取一个回归的名字。
在当前你可用场景来做回归,我们在建场时,支持从别的场景复制用例,然后你再把这场景分到当前迭代下
另外
codes 的迭代和 testlink 等的计划不一样
用例分配到迭代下后,再分配不同的人员执行不同的用例
传统的计划 如果我有 10 人执行用例,你要建 10 个计划,根本不方理管理
codes 多了一层迭代,一方便分配要执行的用例,二可以多人在一个迭代下,执行不同的测试用例,相于于分了"任务"
且迭代下不只是用例,还有 BUG ,任务等
有了迭代这个中间抽像层,方便管理
执行人员,进来缺省是自己名下的用例,且左边只显示 只显示当前人员所分配用例对应的需求,需求树上显示执行情况边上的分数就是执行比例,打钩表示完成,双击还可查看需求明细,
另个还方便查看各人的进度和总进度
这是迭代分工
忘了说了 CODES 你可把迭代中的用例 导出来 离线执行回归 再以导入的方式同步结果到线上,不会新增用例,只是同步结果到线上
我也有这样的疑惑,一直在找寻支持回归测试的 测试管理平台,目前没有发现这样的东西
刚好您问到了这问题,最近我们的计划应能满足你
后面的那套逻辑确实是满足回归的需要了,但是从操作层面上还有些疑问。
1、从执行角度,迭代中测试的视角是不是计划更好一点,就是上面的这个回归?因为这时候用例更像是一个用例库,是一个供选择的资源池;
2、从质量角度,由于用例多轮的执行,迭代的质量数据应该是汇总的多轮次的执行数据;
1、从执行角度,迭代中测试的视角是不是计划更好一点,就是上面的这个回归?因为这时候用例更像是一个用例库,是一个供选择的资源池;
从计划就有我上面说的管理问题,我个人认为不要拘泥于理论或是概念,只要方便管理,就 OK ,是不是库不重要,关键能从多个渠道选用例来回归就好。
且不能只能测试的视角来看,要从整个研发的视角来看
2、从质量角度,由于用例多轮的执行,迭代的质量数据应该是汇总的多轮次的执行数据 ;
我只是没说而己,这当然不影吶统计,只要数据库库里,想统计这很好办,就怕没有数据 ,要统计
能满足部分需求,多轮次 期望这样
1.比如一共 1 万条 case,这个迭代 V1,抽调 P1 级别的用例共一千条分给 10 个测试执行
2.v2 迭代 分配其余 9000 个用例中的 2000 个用例,就这样大概用几个迭代 把所用用例都分一次
这就需要 每个迭代分出去的用例与 未分配过的用例区分开,才能再下个迭代方便的挑选未分配过的用例
codes 我简单用了下
这就是 CODES 迭代的东东了,分用例的时候,可以按需求 按测试结果等分,这现在的功能就是这样;
后续我们再加一个从另一个或多个迭代中 加一定过滤条件中分用例到当前迭代
刚看到您贴的图,应是你后来提交的,
看我上面的图,可以选己分配和没分配过的,以及左面是需求 都可以过滤,只要加上
再加一个从另一个或多个迭代中 加一定过滤条件中分用例到当前迭代
然后统计时把轮区能分开就 OK 了
当前分配用例,条件有很多,不用一个一个去选,设置了查询条件就可以了全部分配
,因为每个迭代,肯定有对应的需求,需求定了,也就是左边的树,再加己分配和没分配的过滤,这很好就区分出来
,还可加用例的状态
总之通过沟通 我明白了需求
1、metersphere 是测试计划 + 测试用例的管理方式,问题是对于测试计划出现轮次的话,一个是多轮次的执行都是独立的,没办法关联在一起
----关于测试计划轮次,会在 3.0 也就是今年 11 月份左右会上线。
另一个是回归测试的用例勾选,没办法直接选到上一轮执行失败的用例
----这个功能,我们会反馈到产品
谢谢上面的回复,假如我多轮次,所有用例都执行了一次,这时候每条用例都标记过状态了
那我下一次开始分用例时 就不能按状态/已分配 分了,希望能有个功能一键设置用例状态 是否分配