专栏文章 辅助程序实现黑盒自动化测试的常见问题

opentest-oper@360.cn · March 26, 2020 · 379 hits

背景

辅助程序(Accessibility)在大多数机型上具有重启设备后被激活的特性,可以完成Android测试框架(Uiautomator1.0、Uiautomator2.0)无法实现的功能。本文介绍如何搭建辅助程序和如何利用辅助程序进行黑盒测试。并总结了利用辅助程序执行黑盒测试遇到的问题,并在文末总结了各测试方案的应用场景。

辅助程序实现黑盒自动化测试的特点

辅助功能相较于测试框架在部分场景下有一定的优势,可以做更多场景的测试:

  1. 运行辅助程序过程中可以执行Uiautomator1.0或Uiautomator2.0测试用例,执行测试用例过程中辅助程序会被中断,当测试用例执行结束后辅助程序会恢复运行;
  2. 大部分机型重启设备,服务会自动运行,可以测试部分app开机自启功能等功能;
  3. 由于是App方案,所以可以直接读取手机短信,设备插上手机卡后,可以在逻辑数据层拦截短信验证码,实现程序的验证码登陆;
  4. 辅助程序有较高的优先级,程序保活能力非常强;

由于测试方式是基于Accessibility服务的app,所以也有很多限制:

  1. 和被测应用不在同一进程内,相较于Uiautomator2.0只能做黑盒测试;
  2. 由于是App实现方案,所以在各系统上存在权限问题,不能像Uiautomator1.0一样获取系统运行信息(最近运行的应用、当前显示的activity)
  3. 执行点击动作需要使用AccessibilityNodeInfo#performAction方法,但是此方法只能在clickable=true时生效;
  4. 无法直接操作屏幕,需要借助AccessibilityService的手势功能实现滑动屏幕、点击屏幕等动作;
  5. 由于系统限制,高版本系统中启动其他App失败;
  6. 发送键盘事件受限制,只能发送Home、back、打开通知、打开快捷设置、打开电源弹窗等有限功能;
  7. 辅助程序异常退出时会关闭辅助程序配置,需要在设置页面手动配置;

辅助程序服务配置与黑盒自动化测试实现

自定义AccessibilityService服务,在服务内重载系统方法,

初始化测试服务:重载onServiceConnected方法

当服务激活时调用此方法,在这里进行服务的初始化工作,主要配置onAccessibilityEvent方法感知的事件类型和服务配置。
1、获取AccessibilityServiceInfo 对象:
getServiceInfo()方法获取当前使用的AccessibilityServiceInfo对象,如果方法返回null,直接通过AccessibilityServiceInfo()构造方法创建。

 AccessibilityServiceInfo accessibilityServiceInfo = getServiceInfo();
if (accessibilityServiceInfo == null) {
accessibilityServiceInfo = new AccessibilityServiceInfo();
setServiceInfo(accessibilityServiceInfo);
}

2、设置AccessibilityServiceInfo#eventTypes标记过滤AccessibilityEvent事件类型:
直接通过或运算符(|)添加标记,下面代码配置过滤控件点击、控件选择、控件获取焦点和文本变化事件,发生配置的事件时会调用onAccessibilityEvent方法。

accessibilityServiceInfo.eventTypes |= AccessibilityEvent.TYPE_VIEW_CLICKED;
accessibilityServiceInfo.eventTypes |= AccessibilityEvent.TYPE_VIEW_SELECTED;
accessibilityServiceInfo.eventTypes |= AccessibilityEvent.TYPE_VIEW_FOCUSED;
accessibilityServiceInfo.eventTypes |= AccessibilityEvent.TYPE_VIEW_TEXT_CHANGED;

3、 设置AccessibilityServiceInfo#flags配置测试能力:
下面的代码在默认配置基础上增加WebView测试能力。

accessibilityServiceInfo.flags |= AccessibilityServiceInfo.DEFAULT;
accessibilityServiceInfo.flags |= AccessibilityServiceInfo.FLAG_REQUEST_ENHANCED_WEB_ACCESSIBILITY;

AccessibilityServiceInfo.FLAG_REQUEST_FILTER_KEY_EVENTS标记慎用,如果增加此标记,辅助程序会拦截设备按键事件,会导致点击返回键、home键无效。

4、更新配置信息:需要调用AccessibilityServiceInfo#setServiceInfo(AccessibilityServiceInfo info)方法更新配置。

重载onAccessibilityEvent(AccessibilityEvent accessibilityEvent)方法,感知页面变化。

当发生页面变化时回调此方法,可用于触发自动处理弹窗的业务

方法名 描述
getEventType 获取事件类型,与AccessibilityServiceInfo#eventTypes相对应。
getWindowId 返回当前窗体的windowId,有些页面存在多套布局,每个布局的windowId不同。可用此数据判别事件的响应窗体,也可以用它作为页面变化的依据。
getSource 返回该事件的控件信息AccessibilityNodeInfo,可以通过该对象执行UI动作。
getPackageName 返回发生事件的app包名,通过包名可用判断是哪个app的行为。
getEventTime 返回发生事件的时间,系统启动到现在的毫秒值。
getText 返回发生该事件的文本信息,如果是多个空间发生变化,会将各个控件的文本进行拼接。
重载onInterrupt()方法,释放资源

当系统中断辅助服务时调用(例如执行自动化测试用例),可以在这个方法内释放资源。

配置测试服务

配置清单文件:
需通过meta-data标签指定accessibilityservice配置文件,该文件位于res/xml文件夹下。

<service
android:label="辅助按键服务"
android:permission="android.permission.BIND_ACCESSIBILITY_SERVICE"
android:exported="true"
android:directBootAware="true"
android:name=".service.TaskAccessibilityService">
<intent-filter>
<action android:name="android.accessibilityservice.AccessibilityService"/>
</intent-filter>
<meta-data
android:name="android.accessibilityservice"
android:resource="@xml/accessibility_service_config" />
</service>

属性介绍:
accessibilityservice配置辅助程序属性:
android:description 配置辅助程序描述信息,在设置页面中显示
android:accessibilityFeedbackType 反馈方式
android:canPerformGestures 模拟手势配置,辅助程序滑动屏幕时必须配置此属性为true
android:accessibilityFlags 等同AccessibilityServiceInfo#flags的设置,可以在代码中动态配置

res/xml/accessibility_service_config.xml文件信息:

<?xml version="1.0" encoding="utf-8"?>
<accessibility-service xmlns:android="http://schemas.android.com/apk/res/android"
android:description="@string/accessibility_service_description"

android:accessibilityFeedbackType="feedbackAllMask"
android:canRetrieveWindowContent="true"
android:canPerformGestures="true"
android:notificationTimeout="100"
android:accessibilityFlags="flagDefault"
/>

AccessibilityService支持动作

下面是AccessibilityService可以直接调用的方法概述,通过下面这些方法可以获取UI测试过程中必要的数据和执行测试动作。

方法名 描述
findFocus(int focus) 返回获取焦点的输入框或控件,参数AccessibilityNodeInfo#FOCUS_INPUT查找输入控件,参数AccessibilityNodeInfo#FOCUS_ACCESSIBILITY查找获取焦点的控件
getRootInActiveWindow() 返回当前窗体的控件信息AccessibilityNodeInfo
getSoftKeyboardController() 返回软键盘控制器,可以注册软键盘显示监听获取软键盘显示状态,也可以直接隐藏或显示软键盘
getWindows() 返回当前显示的窗体信息,包括系统状态栏和导航栏的布局,Android 21添加的方法,控件检测更全面
performGlobalAction(int action) 执行全局按键动作,具体内容如下
dispatchGesture 手势分发方法,可以模拟屏幕点击、滑动

performGlobalAction方法参数为AccessibilityNodeInfo的静态常量:

常量参数 描述
GLOBAL_ACTION_BACK 键盘返回键
GLOBAL_ACTION_HOME 键盘Home键
GLOBAL_ACTION_NOTIFICATIONS 通知栏,与屏幕下滑打开通知栏功能一致
GLOBAL_ACTION_RECENTS App历史记录
GLOBAL_ACTION_QUICK_SETTINGS 打开通知栏,并展开快捷设置
GLOBAL_ACTION_POWER_DIALOG 电源弹窗页面,等同长按电源键
GLOBAL_ACTION_LOCK_SCREEN 锁屏,可以做一键锁屏
GLOBAL_ACTION_TAKE_SCREENSHOT 快捷截图

dispatchGesture实现点击、滑动滑动屏幕

系统SDK<24时无法点击和滑动屏幕,需要通过AccessibilityNodeInfo的performAction(int action)方法实现UI操作,参数指定ACTION_ACCESSIBILITY_FOCUS获取焦点、ACTION_LONG_CLICK执行长点击、执行ACTION_CLICK点击。

屏幕滑动和点击方法是借助dispatchGesture方法模拟手势实现的,通过Path指定屏幕滑动路径,调用dispatchGesture方法实现Path指定的滑动方式。具体实现代码如下:

Path mPath = new Path();
mPath.moveTo(startX, startY);//滑动的起始点
mPath.lineTo(endX, endY);//滑动终点。不指定lineTo的坐标,只配置moveTo坐标时执行点击动作,点击位置为moveTo指定的坐标。
dispatchGesture(new GestureDescription.Builder().addStroke(new GestureDescription.StrokeDescription
(mPath, 50, 500)).build(), new GestureResultCallback() {
@Override
public void onCompleted(GestureDescription gestureDescription) {
super.onCompleted(gestureDescription);
System.out.println("模拟手势成功");
}

@Override
public void onCancelled(GestureDescription gestureDescription) {
super.onCancelled(gestureDescription);
System.out.println("模拟手势失败");
}
}, null);
} else {
System.out.println("系统不支持" + Build.VERSION.SDK_INT);
}

App实现黑盒自动化测试痛点的解决

高版本系统通过intent启动APP失败

Android高版本系统对后台程序启动应用做了严格限制,解决这个问题有下面两种方案

  1. 辅助程序实现悬浮窗功能,在整个测试流程中App属于前台应用,具有启动其他App的权限。缺点:各版本系统适配麻烦,测试过程中会检测到悬浮窗。

  2. 通过UI操作启动App,在桌面滑动寻找被测应用的Launcher图标,然后通过点击操作打开App。

AccessibilityNodeInfo执行performAction失败

performAction方法执行失败是因为对应的AccessibilityNodeInfo不具有对应的操作属性,比如执行点击操作时AccessibilityNodeInfo#isClickable()方法返回false,此时点击操作就会失败。有两种解决方案:

  1. 寻找响应事件的AccessibilityNodeInfo执行performAction操作 由于当前AccessibilityNodeInfo无法响应点击事件,那么寻找AccessibilityNodeInfo#isClickable()返回true的父控件执行操作。
public boolean clickNode(AccessibilityNodeInfo nodeInfo){
AccessibilityNodeInfo actionNode=null;
while (true){
actionNode=nodeInfo.getParent();
//循环时防止空指针异常
if(actionNode==null){
return false;
}
if(actionNode.isClickable()){
break;
}
}
//可能存在所有父控件均不可点击情况
if(actionNode==null){
return false;
}
actionNode.performAction(AccessibilityNodeInfo.ACTION_CLICK);
return false;
}
  1. 如果SDK >= 24,则计算AccessibilityNodeInfo的屏幕坐标,然后点击对应的屏幕坐标即可。
public boolean clickNode(AccessibilityNodeInfo nodeInfo){
if(Build.VERSION.SDK_INT >= Build.VERSION_CODES.N){
//获取控件的屏幕坐标
Rect rect=new Rect();
nodeInfo.getBoundsInScreen(rect);
//点击屏幕坐标
clickScreen(rect.centerX(),rect.centerY());
return true;
}else {
return false;
}
}

public void clickScreen(int x, int y) {
Path mPath = new Path();
mPath.moveTo(x, y);//配置点击坐标

if (Build.VERSION.SDK_INT >= Build.VERSION_CODES.N) {
dispatchGesture(new GestureDescription.Builder().addStroke(new GestureDescription.StrokeDescription
(mPath, 50, 50)).build(), new GestureResultCallback() {
@Override
public void onCompleted(GestureDescription gestureDescription) {
super.onCompleted(gestureDescription);
System.out.println("点击成功");
}

@Override
public void onCancelled(GestureDescription gestureDescription) {
super.onCancelled(gestureDescription);
System.out.println("点击失败");
}
}, null);
} else {
System.out.println("系统不支持" + Build.VERSION.SDK_INT);
}
}

选择测试方案的建议

以上就是通过App实现黑盒测试的简单介绍,再具体的信息可以查阅Android源码,下面介绍一下几种测试方案的使用场景:

UiAutomator1.0

权限:Shell权限,可以反射系统API实现常用功能,可以绕过Android安全机制,读取最近运行APP、正在运行进程、强杀其他应用;

保活:保活能力较强,不会被Android系统释放,可以用nohup模式异步运行,即使拔掉数据线也不影响服务(诺基亚手机除外);

场景推荐: 适用多App通用测试脚本,便于对脚本做项目扩展;提供远程手机服务接口。Android R(11)模拟器不支持,兼容Android R系统的脚本需要注意。

UiAutomator2.0

权限:与被测App运行在相同进程内部,与被测APP具有相同权限;

保活:保活能力差,被测App进程结束时,脚本即停止运行;

场景推荐:可以直接操作被测App的方法,可以用于白盒测试,对长期维护的重点项目可以用来进行单元测试和复杂业务测试。

辅助程序

权限:单独的App,跨进程操作,需单独申请app权限;

保活:由于是Android专用场景的服务,所以保活能力非常强,部分机型即使重启后服务依然存在,且不影响UiAutomator测试用例的执行,用例执行结束后服务自动恢复;

场景推荐: 残障人士辅助APP;设备维护服务;自动初始化程序运行环境等

如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!
No Reply at the moment.
需要 Sign In 后方可回复, 如果你还没有账号请点击这里 Sign Up