好吧,标题写得好长.
言归正传,本文主要是讲述如何使用这些工具来整合流程,实现 Android 平台的自动化测试.
首先说下背景,因为我测试的东西面向多个国家,对于不同的地域可能有不同的功能,对应不一样的发行渠道,需要测试工具有便捷的 case 管理功能,能方便地面对不同的发行渠道选择不同的 case.而 TestNG 可以很方便地配置这些,所以选择这个框架.
这里直接使用 Appium 源码中自带的 testng 项目示例.位置在源码目录中的

/sample-code/examples/java/testng

1.改造 Report 的呈现方式
示例 Project 用 Maven 来组织项目,所以这里就不改项目架构了,喜欢 ant 的同学自己去实践吧.
因为示例中用的是 TestNG 自己生成的测试报告,比较难看,这里用 ReportNG 来美化一下.
编辑 pom.xml,在依赖中添加 ReportNG 的依赖:

<dependency>
    <groupId>org.uncommons</groupId>
    <artifactId>reportng</artifactId>
    <version>1.1.4</version>
    <scope>test</scope>
    <exclusions>
        <exclusion>
            <groupId>org.testng</groupId>
            <artifactId>testng</artifactId>
        </exclusion>
    </exclusions>
</dependency>
<dependency>
    <groupId>com.google.inject</groupId>
    <artifactId>guice</artifactId>
    <version>3.0</version>
    <scope>test</scope>
</dependency>

ReportNG 还得注册一下监听器,这个放在 testng.xml 中去注册,就不写在 POM 里了.maven-surefire-plugin 插件里配置一个参数,用于接收不同的 testng.xml

    <plugin>
        <groupId>org.apache.maven.plugins</groupId>
        <artifactId>maven-surefire-plugin</artifactId>
        <version>2.17</version>
        <configuration>
        <suiteXmlFiles>
            <suiteXmlFile>res/${xmlFileName}</suiteXmlFile>
        </suiteXmlFiles>
</configuration>
    </plugin>

pom 里面的值留空:

<properties>
    <xmlFileName></xmlFileName>
</properties>

2.使用不同的 testng.xml 配置文件来配置不同的渠道测试 case
在项目根目录建个 res 文件夹,把 testng.xml 放进去,testng.xml 文件内容如下

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE suite SYSTEM "http://testng.org/testng-1.0.dtd" >
<suite
    name="Suite"
    verbose="1" >
    <test name="Project_V3023" >
        <packages>
            <package name="com.saucelabs.appium" />
        </packages>
    </test>
    <listeners>
        <listener class-name="org.uncommons.reportng.HTMLReporter" />
        <listener class-name="org.uncommons.reportng.JUnitXMLReporter" />
    </listeners>
    <usedefaultlisteners name="false" />
</suite>

这个文件用来配置选择不同的渠道需要选择的 case,res 文件夹下可以扔很多 testng.xml 文件用于不同的渠道.比如 A 渠道可以用 testng1.xml,B 渠道可以用 testng2.xml,另外在这里面注册一下 ReportNG 的监听器.
最后修改一下 Project 的项目文件结构,最后变成这个样子 (为了演示方便,只保留了一个测试类):

3.配置 Jenkins
勾选参数化构建,创建 2 个参数
第 1 个参数是创建一个文件夹,并且返回文件夹路径,这个在后面发邮件要用到.

第 2 个参数是返回 testng.xml 的名字,这里因为我只有一个,所以直接返回了,后面这里面可以自己加条件判断是返回哪个 testng.xml 的名字.比如 1\3\5 跑 testng1.xml,2\4\6 跑 testng2.xml

用 SVN 来管理测试代码

构建触发器使用定时触发方式,不截图了.

使用 Maven 构建项目,并且接收一个参数

构建后运行一下 Python 的脚本,用途是拷贝文件,将生成的 ReportNG 报告拷贝到上面由参数 1 创建的目录下.而这个目录同时也是 Apache 的网站目录,这样就可以直接通过 URL 看到测试报告了.

最后用邮件插件发一下邮件,我这里都是引用的系统配置里的内容

收到的邮件是这个样子

点开链接,看到测试报告

最后,总结一下
用 SVN 管理管理代码,Jenkins 做持续集成,项目组织用 Maven,测试框架用 Appium+TestNG,报告呈现用 ReportNG.
好吧,撇去 Appium 不谈,其他都是大家用来用去的东西了.
现在的问题:
1.Jenkins 的触发方式现在是每天晚上定时触发,因为我拿不到源码,开发的编译系统用的也不是 Jenkins,我不知道要如何才能更好地使用持续集成.各位小伙伴的持续集成又是怎么做的呢?
2.选择 testng.xml 不够灵活,不能根据项目特征自动选择对应的 testng.xml,比如我想拿渠道号来区分,可 Jenkins 怎么拿到渠道号?
3.Appium 支持多个设备同时运行吗?之前用 Robotium 时使用 Spoon 就可以同时在多个设备上运行.

扩展一下:
网易上个月出了一个 TestNG 的小插件,实现了失败用例重跑,失败自动截图,展示用例运行次数等等功能,很好很实用,就只有一个缺点,生成的报告是改造了 TestNG 自带的 emailable-report.html,实在是太 - 丑-了~~这个看能不能把功能移植到 ReportNG 上去.有兴趣的小伙伴可以关注.
项目地址:https://github.com/NetEase/arrow