monkey 随机跑出来的 Bug,如:ANR 或 Crash 问题,怎样进行回归验证?
首先 monkey 跑出那个玩意儿叫 ANR 不叫 ANT。
还有一定记得 monkey 是一个随机测试,随机的问题结果用随机的手段再去验证,这个就是扯犊子了。seed 这种随机值设置了,这是定义一个伪随机序列,在不同手机上(或者相同手机不同次测试)基本上一秒钟以后就完全不一样的路径了。如果你用随机执行的方式能再次遇到这个问题这个可以证明问题没有被修复,但是如果没遇到真不代表修复了。
我们的方法还是走 code review,毕竟 monkey 这东西跑出 crash 的时候,日志还是蛮 ok 的,你可以拿来对着研发的代码做分析,然后根据研发的修复计划一起走代码走查。通过 code review 认定问题修复,则问题关闭即可。
至于不会做 code review 怎么办?简单,学!
重新跑几次,看下还会不会出现
用同样的 seed 值重新跑几遍;
debug 版本取出 log,根据 log 判断出问题模块以及操作步骤,定制自动化脚本进行针对性验证。