从 0 构建自动化测试平台 (五) 兼容性测试实现

## 往期文章

从 0 构建自动化测试平台 (一) 之技术选型

从 0 构建自动化测试平台 (二) WEB 服务器构建

从 0 构建自动化测试平台 (三) 前端页面拉取

从 0 构建自动化测试平台 (四) 文件上传与任务提交

前言

写到这里,还是非常想进行一个说明,实际项目过程中的顺序其实和我梳理的顺不一样,为了让读者更容易理解,笔者重新梳理了顺序,目的是为了让读者更好的理解这个项目;实际过程是先实现了后端的功能,例如兼容性测试、稳定性测试、功能测试之后,根据需要才有的前端。之前的文章都是前端相关的内容,今天好不容易到了后端的实现,此时的我还是非常激动的,接下来将和大家聊聊后端的具体实现。

接上篇文章

之前我们聊到了文件上传,并将参数传递给了后端 python 代码:

python vendor/comptest/devices.py --app-path=/home/K米4.6.6.apk --email=xiongjinfei@star-net.cn --test-type=compatibility

这里有一个关键词:compatibility 兼容性测试。

我对兼容性测试的理解

兼容性测试,我的理解有 2 个阶段:

第一个阶段:早期的时候听的最多的应该是浏览器兼容,百度百科对兼容性测试的解释:

兼容测试(Compatibility Test Suite )简称 CTS

指对所设计程序与硬件、软件之间的兼容性的测试。

测试分类:

一、浏览器兼容测试

二、分辨率兼容测试

一般来说,兼容性指能同时容纳多个方面,在计算机术语上兼容是指几个硬件之间、几个软件之间或是软硬件之间的相互配合程度。

兼容性测试是指测试软件在特定的硬件平台上、不同的应用软件之间、不同的操作系统平台上、不同的网络等环境中是否能够很友好的运行的测试。

简单说就是我们的网页在不同的浏览器上可以正常显示,页面元素没有出现:偏离、移位、遮挡、按钮无法点击、输入框无法输入等问题,以及在不同分辨率的电脑可以正常显示,功能可以正常使用。

在这个阶段的理解如果放在 APP 上,那就是要实现 APP 在不同设备 (硬件平台、分辨率) 能够正常使用,在这个阶段,我其实是陷入困境的,因为要能正常使用,那不是功能测试吗?

第二个阶段:经过一段时间的了解,找到了 APP 兼容性测试和浏览器兼容测试的区别,这里分为 2 个层面:

基础层面:APP 兼容性测试主要实现在不同的设备上可以正常:安装 (覆盖安装)、启动、运行、卸载

进阶层面:运行过程中捕获异常日志信息、启动时间、CPU、内存、流量、截图

所有这里我总结一个兼容性测试的公式:

兼容性测试=(安装 + 启动 + 运行 + 卸载 + 异常日志 + 启动时间 +CPU+ 内存 + 流量 + 截图)* N 台手机

兼容性测试基础

以上我们描述了兼容性测试所需要实现的功能,这些功能的实现有 2 种方式,第一种是 adb,第二种就是使用第三方开源软件,接下来我先介绍 adb 的一些基础方法:

设备获取:adb devices

安装 APP:adb -s 设备 ID install -r APK 包

adb -s 5276e0a3 install -r K 米_4.6.6.apk

启动:adb -s 设备 ID shell am start -W -n launchable-activity

运行:adb -s 5276e0a3 shell monkey -p com.evideo.MobileKTV --pct-touch 45 --pct-motion 20 --pct-trackball 5 --pct-nav 1 --pct-appswitch 20 --pct-flip 6 --throttle 50 -s 10 -v 3000

卸载:adb -s 设备 ID uninstall APP 包名

日志:adb -s 设备 ID logcat

启动时间:APP 在启动的时候有对应的启动时间

截图:adb -s 5276e0a3 shell /system/bin/screencap -p 设备保存位置

CPU、内存、流量,我使用的是腾讯开源的 GT,官网 (http://gt.tencent.com) 有详细的说明,这里不展开。

以上是要进行兼容性测试的基础知识,如果你想继续往下走,这些基础你必须先掌握。
** 兼容性测试详细过 ** 程

我先详细说明兼容性测试的详细过程,然后再描述每个过程的实现方法:

  1. 屏幕解锁;
  2. 设备连接;
  3. 安装 APK;
  4. 启动 APP;
  5. 启动 logcat;
  6. 启动 GT 抓取性能数据;
  7. 运行 APP;
  8. 控件遍历;
  9. 停止 GT;
  10. 停止 logcat;
  11. 卸载 APP;

1、屏幕解锁实现

笔者使用的是 APPium 官方开源的 unlock_apk(https://github.com/appium/unlock_apk\)

调用方法:

adb shell am start -n io.appium.unlock/.Unlock

说明:屏幕解锁其实可以换一种方式,那就是在设置中配置为不锁屏

2、设备连接

$ adb devices

说明:在安装前先确认下设备的连接情况

3、安装 APK

$ adb -s 设备ID  install -r APK包

说明:

-s 指定设备,在多设备的情况下是非常有用的;

-r 强制安装

4、启动 APP

$ adb -s 设备ID  shell am start -W -n  launchable-activity

说明:

launchable-activity 的获取,通过aapt* d badging APK 包,通过 aapt 还可以获取:*

packagename

versionCode

versionName

platformBuildVersionName

install-location

sdkVersion

targetSdkVersion

5、启动 logcat

$ adb -s 设备ID logcat -v time -f logcat保存路径

说明:启动 logcat 有 4 个过程

a、删除 logcat 的保存路径:adb -s 设备 ID shell rm logcat 保存路径

b、清理已经存在的日志:adb logcat -c

c、将日志输出到文件:adb logcat -f 文件名

d、获取返回的进程 id:通过执行 cmd 命令返回

6、启动 GT 抓取性能数据

说明:这个有 6 个过程

a、启动 GT:

adb -s 设备 ID shell am start -W -n com.tencent.wstt.gt/.activity.GTMainActivity

b、运行被测应用:

adb -s 设备ID shell am broadcast -a  com.tencent.wstt.gt.baseCommand.startTest --es pkgName 被测应用程序包名

c、勾选 CPU:

adb -s 设备ID shell am broadcast -a  com.tencent.wstt.gt.baseCommand.
sampleData --ei cpu 1

d、勾选内存:

adb -s 设备ID shell am broadcast -a  com.tencent.wstt.gt.baseCommand.
sampleData --ei pss 1

e、勾选流量:

adb -s 设备ID shell am broadcast -a  com.tencent.wstt.gt.baseCommand.
sampleData --ei net 1

f、电量采集:

adb -s 设备ID shell am broadcast -a  com.tencent.wstt.gt
plugin.battery.startTest --ei refreshRate 250 --ei brightness 100 --ez T true

7、运行 APP

monkey 进行随机点击;

8、控件遍历

运行 APP 部分和控件遍历部分,笔者使用了 3 中方式:

monkeyrunner 进行控件遍历;

UiAutomator 进行控件遍历;

上面的每一种方式都值得深入的研究,后面会细致的讲解这 3 个模块。

9、停止 GT

adb -s 设备ID shell am broadcast -a  com.tencent.wstt.gt.baseCommand.
endTest --es saveFolderName 报告保存路径
10、停止logcat
*说明:*
a、根据获取的PID,执行kill操作
b、拉取设备上的日志文件:adb -s 设备ID pull /sdcard/GT/GW/com.tencent.mobileqq/7.0.0/temp report/9f2f8b26-35d4-4a3e-b944-83da8b1552d5/OPPO_R7c/GT_Report

11、卸载 APP

$ adb -s 设备ID uninstall APP包名

以上就是一个完整的兼容性测试过程,该过程所有的操作都是通过 python 调用实现,今天就先写到这里,后续将持续输出更加精彩的内容。


↙↙↙阅读原文可查看相关链接,并与作者交流