移动测试开发 辅助程序实现黑盒自动化测试的常见问题

opentest-oper@360.cn · 2020年03月26日 · 1509 次阅读

背景

辅助程序(Accessibility)在大多数机型上具有重启设备后被激活的特性,可以完成 Android 测试框架(Uiautomator1.0、Uiautomator2.0)无法实现的功能。本文介绍如何搭建辅助程序和如何利用辅助程序进行黑盒测试。并总结了利用辅助程序执行黑盒测试遇到的问题,并在文末总结了各测试方案的应用场景。

辅助程序实现黑盒自动化测试的特点

辅助功能相较于测试框架在部分场景下有一定的优势,可以做更多场景的测试:

  1. 运行辅助程序过程中可以执行 Uiautomator1.0 或 Uiautomator2.0 测试用例,执行测试用例过程中辅助程序会被中断,当测试用例执行结束后辅助程序会恢复运行;
  2. 大部分机型重启设备,服务会自动运行,可以测试部分 app 开机自启功能等功能;
  3. 由于是 App 方案,所以可以直接读取手机短信,设备插上手机卡后,可以在逻辑数据层拦截短信验证码,实现程序的验证码登陆;
  4. 辅助程序有较高的优先级,程序保活能力非常强;

由于测试方式是基于 Accessibility 服务的 app,所以也有很多限制:

  1. 和被测应用不在同一进程内,相较于 Uiautomator2.0 只能做黑盒测试;
  2. 由于是 App 实现方案,所以在各系统上存在权限问题,不能像 Uiautomator1.0 一样获取系统运行信息(最近运行的应用、当前显示的 activity)
  3. 执行点击动作需要使用 AccessibilityNodeInfo#performAction 方法,但是此方法只能在 clickable=true 时生效;
  4. 无法直接操作屏幕,需要借助 AccessibilityService 的手势功能实现滑动屏幕、点击屏幕等动作;
  5. 由于系统限制,高版本系统中启动其他 App 失败;
  6. 发送键盘事件受限制,只能发送 Home、back、打开通知、打开快捷设置、打开电源弹窗等有限功能;
  7. 辅助程序异常退出时会关闭辅助程序配置,需要在设置页面手动配置;

辅助程序服务配置与黑盒自动化测试实现

自定义 AccessibilityService 服务,在服务内重载系统方法,

初始化测试服务:重载 onServiceConnected 方法

当服务激活时调用此方法,在这里进行服务的初始化工作,主要配置 onAccessibilityEvent 方法感知的事件类型和服务配置。
1、获取 AccessibilityServiceInfo 对象:
getServiceInfo() 方法获取当前使用的 AccessibilityServiceInfo 对象,如果方法返回 null,直接通过 AccessibilityServiceInfo() 构造方法创建。

 AccessibilityServiceInfo accessibilityServiceInfo = getServiceInfo();
if (accessibilityServiceInfo == null) {
    accessibilityServiceInfo = new AccessibilityServiceInfo();
    setServiceInfo(accessibilityServiceInfo);
}

2、设置 AccessibilityServiceInfo#eventTypes 标记过滤 AccessibilityEvent 事件类型:
直接通过或运算符(|)添加标记,下面代码配置过滤控件点击、控件选择、控件获取焦点和文本变化事件,发生配置的事件时会调用 onAccessibilityEvent 方法。

accessibilityServiceInfo.eventTypes |= AccessibilityEvent.TYPE_VIEW_CLICKED;
accessibilityServiceInfo.eventTypes |= AccessibilityEvent.TYPE_VIEW_SELECTED;
accessibilityServiceInfo.eventTypes |= AccessibilityEvent.TYPE_VIEW_FOCUSED;
accessibilityServiceInfo.eventTypes |= AccessibilityEvent.TYPE_VIEW_TEXT_CHANGED;

3、 设置 AccessibilityServiceInfo#flags 配置测试能力:
下面的代码在默认配置基础上增加 WebView 测试能力。

accessibilityServiceInfo.flags |= AccessibilityServiceInfo.DEFAULT;
accessibilityServiceInfo.flags |= AccessibilityServiceInfo.FLAG_REQUEST_ENHANCED_WEB_ACCESSIBILITY;

AccessibilityServiceInfo.FLAG_REQUEST_FILTER_KEY_EVENTS 标记慎用,如果增加此标记,辅助程序会拦截设备按键事件,会导致点击返回键、home 键无效。

4、更新配置信息:需要调用 AccessibilityServiceInfo#setServiceInfo(AccessibilityServiceInfo info) 方法更新配置。

重载 onAccessibilityEvent(AccessibilityEvent accessibilityEvent) 方法,感知页面变化。

当发生页面变化时回调此方法,可用于触发自动处理弹窗的业务

方法名 描述
getEventType 获取事件类型,与 AccessibilityServiceInfo#eventTypes 相对应。
getWindowId 返回当前窗体的 windowId,有些页面存在多套布局,每个布局的 windowId 不同。可用此数据判别事件的响应窗体,也可以用它作为页面变化的依据。
getSource 返回该事件的控件信息 AccessibilityNodeInfo,可以通过该对象执行 UI 动作。
getPackageName 返回发生事件的 app 包名,通过包名可用判断是哪个 app 的行为。
getEventTime 返回发生事件的时间,系统启动到现在的毫秒值。
getText 返回发生该事件的文本信息,如果是多个空间发生变化,会将各个控件的文本进行拼接。
重载 onInterrupt() 方法,释放资源

当系统中断辅助服务时调用(例如执行自动化测试用例),可以在这个方法内释放资源。

配置测试服务

配置清单文件:
需通过 meta-data 标签指定 accessibilityservice 配置文件,该文件位于 res/xml 文件夹下。

<service
    android:label="辅助按键服务"
    android:permission="android.permission.BIND_ACCESSIBILITY_SERVICE"
    android:exported="true"
    android:directBootAware="true"
    android:name=".service.TaskAccessibilityService">
    <intent-filter>
        <action android:name="android.accessibilityservice.AccessibilityService"/>
    </intent-filter>
    <meta-data
        android:name="android.accessibilityservice"
        android:resource="@xml/accessibility_service_config" />
</service>

属性介绍:
accessibilityservice 配置辅助程序属性:
android:description 配置辅助程序描述信息,在设置页面中显示
android:accessibilityFeedbackType 反馈方式
android:canPerformGestures 模拟手势配置,辅助程序滑动屏幕时必须配置此属性为 true
android:accessibilityFlags 等同 AccessibilityServiceInfo#flags 的设置,可以在代码中动态配置

res/xml/accessibility_service_config.xml 文件信息:

<?xml version="1.0" encoding="utf-8"?>
<accessibility-service xmlns:android="http://schemas.android.com/apk/res/android"
    android:description="@string/accessibility_service_description"

    android:accessibilityFeedbackType="feedbackAllMask"
    android:canRetrieveWindowContent="true"
    android:canPerformGestures="true"
    android:notificationTimeout="100"
    android:accessibilityFlags="flagDefault"
    />

AccessibilityService 支持动作

下面是 AccessibilityService 可以直接调用的方法概述,通过下面这些方法可以获取 UI 测试过程中必要的数据和执行测试动作。

方法名 描述
findFocus(int focus) 返回获取焦点的输入框或控件,参数 AccessibilityNodeInfo#FOCUS_INPUT 查找输入控件,参数 AccessibilityNodeInfo#FOCUS_ACCESSIBILITY 查找获取焦点的控件
getRootInActiveWindow() 返回当前窗体的控件信息 AccessibilityNodeInfo
getSoftKeyboardController() 返回软键盘控制器,可以注册软键盘显示监听获取软键盘显示状态,也可以直接隐藏或显示软键盘
getWindows() 返回当前显示的窗体信息,包括系统状态栏和导航栏的布局,Android 21 添加的方法,控件检测更全面
performGlobalAction(int action) 执行全局按键动作,具体内容如下
dispatchGesture 手势分发方法,可以模拟屏幕点击、滑动

performGlobalAction 方法参数为 AccessibilityNodeInfo 的静态常量:

常量参数 描述
GLOBAL_ACTION_BACK 键盘返回键
GLOBAL_ACTION_HOME 键盘 Home 键
GLOBAL_ACTION_NOTIFICATIONS 通知栏,与屏幕下滑打开通知栏功能一致
GLOBAL_ACTION_RECENTS App 历史记录
GLOBAL_ACTION_QUICK_SETTINGS 打开通知栏,并展开快捷设置
GLOBAL_ACTION_POWER_DIALOG 电源弹窗页面,等同长按电源键
GLOBAL_ACTION_LOCK_SCREEN 锁屏,可以做一键锁屏
GLOBAL_ACTION_TAKE_SCREENSHOT 快捷截图

dispatchGesture 实现点击、滑动滑动屏幕

系统 SDK<24 时无法点击和滑动屏幕,需要通过 AccessibilityNodeInfo 的 performAction(int action) 方法实现 UI 操作,参数指定 ACTION_ACCESSIBILITY_FOCUS 获取焦点、ACTION_LONG_CLICK 执行长点击、执行 ACTION_CLICK 点击。

屏幕滑动和点击方法是借助 dispatchGesture 方法模拟手势实现的,通过 Path 指定屏幕滑动路径,调用 dispatchGesture 方法实现 Path 指定的滑动方式。具体实现代码如下:

Path mPath = new Path();
mPath.moveTo(startX, startY);//滑动的起始点
mPath.lineTo(endX, endY);//滑动终点。不指定lineTo的坐标,只配置moveTo坐标时执行点击动作,点击位置为moveTo指定的坐标。
    dispatchGesture(new GestureDescription.Builder().addStroke(new GestureDescription.StrokeDescription
            (mPath, 50, 500)).build(), new GestureResultCallback() {
        @Override
        public void onCompleted(GestureDescription gestureDescription) {
            super.onCompleted(gestureDescription);
            System.out.println("模拟手势成功");
        }

        @Override
        public void onCancelled(GestureDescription gestureDescription) {
            super.onCancelled(gestureDescription);
            System.out.println("模拟手势失败");
        }
    }, null);
} else {
    System.out.println("系统不支持" + Build.VERSION.SDK_INT);
}

App 实现黑盒自动化测试痛点的解决

高版本系统通过 intent 启动 APP 失败

Android 高版本系统对后台程序启动应用做了严格限制,解决这个问题有下面两种方案

  1. 辅助程序实现悬浮窗功能,在整个测试流程中 App 属于前台应用,具有启动其他 App 的权限。缺点:各版本系统适配麻烦,测试过程中会检测到悬浮窗。

  2. 通过 UI 操作启动 App,在桌面滑动寻找被测应用的 Launcher 图标,然后通过点击操作打开 App。

AccessibilityNodeInfo 执行 performAction 失败

performAction 方法执行失败是因为对应的 AccessibilityNodeInfo 不具有对应的操作属性,比如执行点击操作时 AccessibilityNodeInfo#isClickable() 方法返回 false,此时点击操作就会失败。有两种解决方案:

  1. 寻找响应事件的 AccessibilityNodeInfo 执行 performAction 操作 由于当前 AccessibilityNodeInfo 无法响应点击事件,那么寻找 AccessibilityNodeInfo#isClickable() 返回 true 的父控件执行操作。
public boolean clickNode(AccessibilityNodeInfo nodeInfo){
    AccessibilityNodeInfo actionNode=null;
    while (true){
        actionNode=nodeInfo.getParent();
        //循环时防止空指针异常
        if(actionNode==null){
            return false;
        }
        if(actionNode.isClickable()){
            break;
        }
    }
    //可能存在所有父控件均不可点击情况
    if(actionNode==null){
        return false;
    }
    actionNode.performAction(AccessibilityNodeInfo.ACTION_CLICK);
    return false;
}
  1. 如果 SDK >= 24,则计算 AccessibilityNodeInfo 的屏幕坐标,然后点击对应的屏幕坐标即可。
public boolean clickNode(AccessibilityNodeInfo nodeInfo){
    if(Build.VERSION.SDK_INT >= Build.VERSION_CODES.N){
        //获取控件的屏幕坐标
        Rect rect=new Rect();
        nodeInfo.getBoundsInScreen(rect);
        //点击屏幕坐标
        clickScreen(rect.centerX(),rect.centerY());
        return true;
    }else {
        return false;
    }
}

public void clickScreen(int x, int y) {
    Path mPath = new Path();
    mPath.moveTo(x, y);//配置点击坐标

    if (Build.VERSION.SDK_INT >= Build.VERSION_CODES.N) {
        dispatchGesture(new GestureDescription.Builder().addStroke(new GestureDescription.StrokeDescription
                (mPath, 50, 50)).build(), new GestureResultCallback() {
            @Override
            public void onCompleted(GestureDescription gestureDescription) {
                super.onCompleted(gestureDescription);
                System.out.println("点击成功");
            }

            @Override
            public void onCancelled(GestureDescription gestureDescription) {
                super.onCancelled(gestureDescription);
                System.out.println("点击失败");
            }
        }, null);
    } else {
        System.out.println("系统不支持" + Build.VERSION.SDK_INT);
    }
}

选择测试方案的建议

以上就是通过 App 实现黑盒测试的简单介绍,再具体的信息可以查阅 Android 源码,下面介绍一下几种测试方案的使用场景:

UiAutomator1.0

权限:Shell 权限,可以反射系统 API 实现常用功能,可以绕过 Android 安全机制,读取最近运行 APP、正在运行进程、强杀其他应用;

保活:保活能力较强,不会被 Android 系统释放,可以用 nohup 模式异步运行,即使拔掉数据线也不影响服务(诺基亚手机除外);

场景推荐: 适用多 App 通用测试脚本,便于对脚本做项目扩展;提供远程手机服务接口。Android R(11)模拟器不支持,兼容 Android R 系统的脚本需要注意。

UiAutomator2.0

权限:与被测 App 运行在相同进程内部,与被测 APP 具有相同权限;

保活:保活能力差,被测 App 进程结束时,脚本即停止运行;

场景推荐:可以直接操作被测 App 的方法,可以用于白盒测试,对长期维护的重点项目可以用来进行单元测试和复杂业务测试。

辅助程序

权限:单独的 App,跨进程操作,需单独申请 app 权限;

保活:由于是 Android 专用场景的服务,所以保活能力非常强,部分机型即使重启后服务依然存在,且不影响 UiAutomator 测试用例的执行,用例执行结束后服务自动恢复;

场景推荐: 残障人士辅助 APP;设备维护服务;自动初始化程序运行环境等

如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!
暂无回复。
需要 登录 后方可回复, 如果你还没有账号请点击这里 注册