性能测试工具 由 Monkey 引发的测试工具方面的想法

MQC · 2017年08月08日 · 1283 次阅读

什么是 Monkey  

对于 Monkey,大家并不陌生,相信很多后续出现的基于控件遍历的测试工具也或多或少地受了它的启发。简单来说,Monkey 测试是 Android 平台自动化测试的一种手段,通过 Monkey 程序模拟用户触摸屏幕、滑动 Trackball、按键等操作来对设备上的程序进行压力测试。

为什么会有 Monkey  

Monkey 主要用 Android 的压力测试,对测试软件的稳定性、健壮性快速而有效, 主要目的就是为了测试 app 是否会 Crash.  

当我们需要对一个软件进行压力测试,检查其性能时,如果人工进行测试的话,效率会很低,而且比较枯燥。而 Monkey 可以为我们减轻这部分重复而繁琐的工作,只需要观察被检测程序多久的时间会发生异常,并在结束的时候收集这些异常信息即可。

Monkey 的弊端

  • 无法准确地得知 bug 的复现步骤
  • 发送的用户事件流的有效性成问题,很多是无效操作

针对 Monkey 的弊端可以进行哪些方面的改进

1. 如何解决无法得知 bug 复现步骤的问题 

Monkey 对于应用程序稳健性的帮助不言而喻,但其弊端也是不可忽视的。  

当 Monkey 跑出一堆问题时,若能及时准确知道复现步骤,将能极大缩短定位问题的时间,帮助开发及时调试程序优化性能。 并且结合 Monkey 的测试思路,我们还可以同步进行性能方面的数据采集,分析出可能存在问题的场景,提前预警。  

以 FPS 测试为例,提供些思路。下图是 3 年前构思的以 Monkey 为驱动去测整个应用程序的 FPS 性能的工作流程图。(注:图中所写的 Monkey 并非 android 原生的 monkey,而是根据其原理写一个简单的伪 Monkey 工具,特点在于测试过程中能记录操作类型和操作轨迹,用于后续能在出错截图中直接标记出操作路径。)

image  

通过上图这样的改造后,无法得知 bug 复现步骤的问题便在一定程度上得到了解决。于是,应用开发前期我们就可以对整个程序进行全面测试,在繁多的操作流程中找到可能存在问题的场景,这部分场景在测试中会以类似下图的方式展示,明确标记操作路径,并将当时操作产生的 FPS 等具体信息记录在案。进而测试可以根据这些信息有针对性地对这部分问题场景进行复测,同时开发也能同步进行调试定位,优化性能。

image

2.如何减少无效操作,提高测试覆盖面 

为了解决 Moneky 无效操作过多的问题,研发基于控件的自动化遍历工具几乎是业界的共识,也由此涌现出了不少优秀的团队优秀的工具,而 MQC 旗下的 Ripper 亦是其中的佼佼者。目前 MQC 中的 Android 兼容性测试便是以 Ripper 驱动的。  

相比 Monkey,以及大多数遍历工具,Ripper 有如下优势

  • 更多的动作:多点触控、缩放、连击、中文输入……
  • 精准控制,高并发,测试效率高
  • 根据规则遍历控件,减少重复操作次数,提高测试覆盖面
  • 记录测试场景,方便问题追踪
  • 识别输入框语义,根据语义输入内容
  • 识别并处理各类弹框 …… 更多的优点,试用过后,方能体会 Ripper 的美妙之处!  
    下图为 Ripper 测试后产生的部分操作场景拓扑图。 image    
    MQC 测试平台是为广大企业客户和移动开发者提供真机测试服务的云平台,拥有大量热门机型,提供 7x24 全天候服务。    
    我们致力于提供专业、稳定、全面、高价值的自动化测试能力,以及简单易用的使用流程、贴心的技术服务,并且帮助客户以最低的成本、最高的效率发现 APP 中的各类隐患(APP 崩溃、各类兼容性问题、功能性问题、性能问题等),减少用户流失,提高 APP 质量和市场竞争力。 联系我们:  网站地址:https://mqc.aliyun.com  开发者交流旺旺群:335334143  开发者交流 QQ 群:492028798  客服邮箱:mqc_group@service.alibaba.com; 更多精彩技术分享 欢迎关注 MQC 公众号 17
暂无回复。
需要 登录 后方可回复, 如果你还没有账号请点击这里 注册