问答 测试只剩下概率性问题,且无法复现,怎么定测试结论?

reme · 2022年03月11日 · 最后由 reme 回复于 2022年03月14日 · 4270 次阅读

产品原因,测试结束时总是存在概率性的问题,出现一次后无法复现,这种情况怎么破,测试结论怎么定呢?请教各位小伙伴~

共收到 7 条回复 时间 点赞

需要综合这个问题的出现概率(相同操作步骤重复跑 10 次,会出现多少次)、出现后严重程度(有多大影响,是否可以用户自行重试解决)、这个项目的质量要求有多高这些来看吧。没有标准答案。

如果整个测试过程中只出现 1 次且重试多次后都无法复现,一般作为风险报出来就可以,如果觉得还需要更严谨那可以线上加相关监控日志,持续观察。

先记录问题,看后期能否复现,如果是崩溃问题就直接让研发加上日志

测试结论里面应该以风险的标签标注问题产生的现象是什么,严重等级、验证了 X 次无法复现、如果出现是否有替代方案

总是存在的话,就不算概率性问题了。能找原因尽量先找吧。

如果实在找不了,评估下这个问题的风险,如果无关紧要,可以写到风险里。如果风险是你们无法承担的,请写测试不通过。

reme #5 · 2022年03月14日 Author
陈恒捷 回复

感谢解答。作为风险项,我觉得是可以的,只是几个版本累积,这种概率性问题就不少了。

reme #6 · 2022年03月14日 Author
Ouroboros 回复

是的,目前只能评估风险,确定测试结论了。
感谢解答。

reme #7 · 2022年03月14日 Author
lll 回复

感谢解答。问题没有到崩溃,研发的意思是加不了监控日志,只能看可存在复现场景

需要 登录 后方可回复, 如果你还没有账号请点击这里 注册