Macaca [基于 Node.js 的自动化测试-Macaca] - 自动化测试实践总结

达峰的夏天 · 2016年04月15日 · 最后由达峰的夏天回复于 2018年03月19日 · 5825 次阅读

上一篇 - 使用 Macaca 测试 PC 端应用

I recommend that developers spend 25-50% of their time developing tests - Kent Beck

上周末在云栖 Techday 分享了自动化相关的一些内容，有很多同学来要 PPT，统一回复下，这是会场用的 slide。

下面对没提到的一些点也做些总结。前几篇文章都是在简要介绍 Macaca 在各个平台的配置和使用。本篇文章总结下做自动化测试的一些知识和心得，重点介绍如何写好 Macaca 的测试用例。

测试文档我们基本都是遵从IEEE 829标准，常规的测试工程周期如下：

testing

标重的是常被认为容易忽视的环节。

重点考虑的几个方面

可维护性

我曾在这里提过，自动化的本质是软件开发。我们一般会以覆盖率指标来衡量一个产品的用例覆盖程度，如下图，在 UI 黑盒中，我们会使用 TC 通过率来衡量。很多朋友会陷入一个误区认为用例数量多总是好的，侧面反应出产品的覆盖程度很高，完全没必要因为追求数量而写大量用例，反而应该关注用例的有效性。优秀的用例还需要考虑很多方面，比如模块化。

coverage

模块化做的是否高质量，用例架构设计是否合理，直接决定后面的复用性，和整体的维护成本。

Node.js 基于CommonJS，对模块化的支持非常好，每个.js文件都是一个模块，依赖管理，分包都非常方便。如果想引入一个三方包，直接在根目录的package.json中的dependence字段中声明模块名就好了，如果若干模块在一定场景里具有普适性，还可以publish到远端，多用户、多环境共用。

分层考虑

我们提到的模块化不止是代码结构上的模块化，而是从用例的可分层开始考虑，将各层次的测试按照业务生产上的需要，进行合理划分，做到真正意义上的模块化，下图示例一个常规 WEB 产品系统的测试分层。

layer

有了清晰的分层，覆盖测试的思路就会变得清楚很多。覆盖的某些功能常常会依赖其他环境，只要有系统依赖就会有不稳定的因素存在。如果你恰好在使用 Macaca 做产品链路测试或者全功能测试，我们的原则是，只要不是此业务模块产生的问题，而是依赖的其他环境导致的问题，都归为误报。

允许合理 Mock

为了减少误报，需要在用例里做好分支逻辑，比如依赖的环境导致链路无法进行或者进行到异常情况，允许使用 Mock 数据或者跳过某块覆盖，最终体现在报告上。

基于业务扩展

pyramid

基于业务的适配层很重要，尤其是要成规模采用 Macaca 这套方案的时候。我们需要应对自身的业务和产品特性做一层适配，简单到提供一个模块封装，复杂到需要提供服务支持或者配置系统支持，具体实施看应用场景。这里说一个最简单的例子。webdriver-client 源码就是个适配层的例子，可以发现其中有对 iOS 和 Android 两平台的兼容方法 login。

在 iOS 中登录是这个样子：

module.exports = function(username, password) {
  return this
    .waitForElementByXPath('//UIATextField[1]')
    .sendKeys(username)
    .waitForElementByXPath('//UIASecureTextField[1]')
    .sendKeys(password)
    .sleep(1000)
    .sendKeys('\n')
    .waitForElementByName('Login')
    .click()
    .sleep(5000);
};

而 Android 中它可能就是这个样子：

module.exports = function(username, password) {
  return this
    .waitForElementsByClassName('android.widget.EditText', {}, 120000)
    .then(function(els) {
      return els[0];
    })
    .sendKeys(username)
    .sleep(1000)
    .elementsByClassName('android.widget.EditText')
    .then(function(els) {
      return els[1];
    })
    .sendKeys(password)
    .sleep(1000)
    .waitForElementByName('Login')
    .click()
    .sleep(5000);
};

提供了兼容封装或者业务上的适配，即可把模块发布到远端，团队成员之间，各个环境之间公用，当然这是个最简单的例子用于说明。

数据驱动

白盒过程中，我们可以很容易的控制测试流，数据流，覆盖分支情况和可预见的边界情况。自动化的过程可以使用数据驱动的方式，同时Node.js 对于文件处理和系统调用也是非常强大的。Node.js生态几乎支持所有类型的数据库模块，对csv, excel等一些常用的归档格式文件处理也非常棒，例如 node-csv。