基于 python+Testlink+Jenkins 实现的接口自动化测试框架 V3.0

目录

1、 开发环境
2、 主要功能逻辑介绍
3、 框架功能简介
4、 数据库的创建
5、 框架模块详细介绍
6、 Testlink 相关配置与用例管理
a) API 相关配置
b) 项目相关配置
c) 用例管理
① 步骤动作和预期结果填写规范
② 参数化
③ 用例执行依赖
④ 禁用用例
7、 运行结果
8、 源码下载
9、 说明

1、开发环境

win7\Windows Server 2008 R2 x64

PyCharm 4.0.5

setuptools-29.0.1.zip
下载地址：http://pan.baidu.com/s/1mhMSAkK
官方下载地址：https://pypi.python.org/pypi/setuptools#downloads

python 3.3.2

mysql-connector-python-2.1.3-py3.3-win32
下载地址：http://pan.baidu.com/s/1kTRqRht
mysql-connector-python-2.1.4-py3.3-winx64.msi
下载地址：http://pan.baidu.com/s/1cDtP1O
官方下载地址：http://dev.mysql.com/downloads/connector/python/

testlink-1.9.14
下载地址：http://pan.baidu.com/s/1pLrcunT
安装教程：http://blog.sina.com.cn/s/blog_13cc013b50102w9am.html

TestLink-API-Python-client-master
下载地址 1：http://pan.baidu.com/s/1c16H50O
下载地址 2：https://github.com/lczub/TestLink-API-Python-client#testlink-api-python-client-developers

chardet-2.3.0
下载地址 1：https://pypi.python.org/pypi/chardet/
下载地址 2：http://pan.baidu.com/s/1nu7XzjN

2、主要功能逻辑介绍

3、框架功能简介

1、框架集成了 Testlink,可使用 Testlink 灵活对测试项目，测试计划，测试用例进行管理

2、可通过配置文件灵活配置运行模式：
支持按测试项目运行：一次运行单个、多个指定的项目或者全部项目；
支持按测试计划运行：一次运行单个、多个指定的测试计划；
支持按测试套件运行：一次运行单个、多个指定的测试套件 (注：支持套件嵌套，套件 -- testlink 中的测试集)
支持按用例运行：一次运行单个\多个用例，这点对特别方便开发阶段时，对单个接口的实现代码进行调试

3、支持 HTTPS，HTTP，WebService 协议，支持 POST, GET 方法，支持 JSON，非 JSON 数据格式的请求，支持多种形式的数据校验，包含数据库级别的数据校验

4、支持在界面化操作，无须写代码就可以实现如下操作：
a) 自定义变量存储 web 服务器、数据库服务器返回请求/查询结果
b) 根据自定义模式对 web 服务器返回结果进行自动校验，支持多种模式的校验，包含字符串，不包含字符串，键值提取，包含成员，不包含成员，匹配/不匹配正则表达式，完全匹配列表/元组/集合/字典
c) 根据界面输入的 sql 语句，执行 sql 查询/更新操作，针对只对返回单条记录的 sql 查询，还支持对查询结果进行提取，保存
d）支持 url 及参数体的动态参数化，支持全局动态参数，非全局动态参数（如存储某个接口返回结果的自定义变量）

5、针对脚本中已经支持的常见协议及常用数据格式，且不需对接口执行结果进行数据库级别的逻辑校验，支持界面直接增加用例而不需要改动脚本代码，即不会编码的人也可以使用本框架

6、支持不同编码 (utf8,ascii,gb2312) 的返回结果，且可自由扩展

7、可自动生成 HTML 可视化接口测试报告

8、可根据配置在测试完成后，自动发送测试报告邮件，邮件发送支持 SSL 加密发送和非 SSL 加密发送，同时支持往多个邮箱发送邮件

9、支持文件、控制台的日志打印，可分别控制开关

10、支持模块化开发

11、支持测试环境的 “一键” 切换：python main.py arg，eg python main.py 1
其中,arg: 1-测试环境 2-预发布环境 3-集成环境，可根据实际需要在代码、配置文件中做适当调整,支持自由扩展和更改

12、可集成 Jenkins 自动运行脚本

参考文章：
“为 Jenkins 添加 Windows Slave 远程执行 python 项目脚本 (http://blog.sina.com.cn/s/blog_13cc013b50102w1yr.html)”
“利用 Build With Parameters Plugin 实现 Jenkins 参数化构建 (http://blog.sina.com.cn/s/blog_13cc013b50102wrjj.html)”
“利用 HTML Publisher plugin 实现 HTML 文档报告展示 (http://blog.sina.com.cn/s/blog_13cc013b50102wryh.html)”

如果需要支持参数化构建，需要替换 main.py,globalpkg/global_function.py,config/runmodeconfig.py 文件
Windows batch，main.py 参数按如下格式写，注意顺序必须遵守如下：
cd /d C:\Projects\interface_project_for_test
python main.py %run_env% %runmode% %project_mode% %projects% %project% %plans% %testsuites% %case_id_list% %global_case_str%

完整批处理参考：jenkins 集成 html 报告显示后的 windows 构建批处理命令.txt

注意：集成里面的参数默认值只能为英文的，另外，字符必须加双引号

4、数据库的创建

CREATE DATABASE IF NOT EXISTS interface_autotest DEFAULT CHARACTER SET utf8;

5、框架模块详细介绍

a) config

dbconfig.conf：包含测试数据库，应用数据库的配置信息

logconfig.conf：包含日志配置信息，具体如下：

mail.conf：包含邮件发送配置信息，如下，

注：不同类型的邮箱 (发件人邮箱)，需要修改配置文件为对应的 host 和端口
smtp.163.com:25
smtp.qq.com:465

report.conf：包含测试报告文件配置信息，如下

runmodeconfig_xxxx.conf：包含运行模式配置信息, runmodeconfig_test.conf 和 runmodeconfig_relase.conf 分别为测试环境和预发布环境的运行时配置信息，可根据实际情况进行调整

runmodeconfig.py：运行配置类

b) globalpkg

log.py：实现日志打印类

mydb.py：实现数据库类，封装数据库相关操作

mytestlink.py：主要用于获取 testlink 连接实例

othertools.py：实现其它通用功能，比如数据转换，批量创建目录等

global_var.py：主要提供全局变量，全局实例等

global_function.py：主要提供全局函数，比如提供运行单个用例的函数 run_testcase_by_id 等

c) logs 及 testreport

可分别用于存放日志文件，测试报告

d) interface

封装接口测试方法类

说明：可根据需要，每个接口对应一个模块，对应一个类；也可以多个接口对应一个模块，对应一个类
需要注意的是，这里添加的模块及类，需要在 casestep.py 中导入

接口单元测试类代码说明

说明：新版本代码中，
outputs_list = [] 已经改成 outputs_dict = {}
处理方式目前支持 3 中 test_interface_of_urlencode（针对请求体为 url 编码），test_interface_of_json(针对请求体为 json 格式)，test_interface_of_xml(针对请求体为 xml 格式)

问题：假如要进行数据库后台的逻辑校验咋办？
针对核心用例我们可以这样，复制整个 test_xxx 为 1-到 n 份，修改方法名，然后在代码最下方新增数据库后台校验的代码，同时如果有必要，对其它代码进行适当的修改（新增、删除、修改等），然后用例步骤中显示指定要调用的方法即可。

或者把逻辑写成存储过程，扩展代码，增加存储过程调用

e) 其它模块

如下，顾名思义

6、Testlink 相关配置与用例管理

为了批量设置接口 ip，端口 (主要是这两个)，协议信息 (仅用于展示)，需要对项目，计划，套件等必要的配置，以及客户端环境变量配置

a) API 相关配置

如下，登陆 Testlink，进入用户管理 - 查看用户，如下

点击目标用户 (例中为 admin)，打开如下界面

点击生成新的密钥，如下

或者是点击 “编辑用户按钮” 按钮进入界面

在运行 python 脚本端进行环境变量的配置，如下：
1、新建系统环境变量 “TESTLINK_API_PYTHON_DEVKEY”，变量值为上述秘钥

2、新建 “TESTLINK_API_PYTHON_SERVER_URL” 系统环境变量，变量值为 “
http://{host}/testlink/lib/api/xmlrpc/v1/xmlrpc.php”,其中 host 为 testlink 的访问地址

测试是否生效：

C:\Users\laiyu>python
Python 3.3.2 (v3.3.2:d047928ae3f6, May 16 2013, 00:03:43) [MSC v.1600 32
tel)] on win32
Type "help", "copyright", "credits" or "license" for more information.
>>> import testlink
>>> tls = testlink.TestLinkHelper().connect(testlink.TestlinkAPIClient)
>>> tls.testLinkVersion()
'1.9.14'

注意：如果还不行，提示 404 错误，则还需要配置 testlinkhelper.py 中的 DEFAULT_SERVER_URL，将其设置为 http://{host}/testlink/lib/api/xmlrpc/v1/xmlrpc.php
python_installation_home\Lib\site-packages\TestLink-API-Python-client-master\build\lib\testlink\testlinkhelper.py

b) 项目相关配置

测试项目配置

注：计划，也存在是否开启的配置，需要开启才会运行。

套件配置

c) 用例管理

如下，用例层级，支持嵌套管理

用例编写如下，左侧步骤动作，必须按如下格式编写

①　步骤动作和预期结果填写规范

针对 http,https 请求，且步骤不是执行单个用例、不是执行 sql，按如下填写：
步骤动作
json 格式
{
"类名":"InterfaceUnittestTestCase",
"函数":"test_interface_of_urlencode",
"请求头"：{"Content-Type":"application/x-www-form-urlencoded","charset":"utf-8"},
"方法":"post",
"url":"/cmorder/1/4",
"参数":{"serial":"[global_serial]","openId":" [global_openId]","fm":1,"mallGoodsId":"26838", "amount":1,"cartIds":"","fetchTime":"", "remark":""}
}

注：
1、如果不填写 “类名键值对”，那么类名默认为 InterfaceUnittestTestCase，如果不填写 “函数键值对”，那么函数默认为 test_interface_of_urlencode
2、键对应的参数值为空，则填写为 ""，“键”，用双引号包含，键对应的 “值”，有必要的话也是双引号包含，预期结果的填写也是一样，不再赘述
3、如果 “参数” 值为空，则填写为 "参数":""
4、用例步骤对应的 test_xxx 方法实现，要尽量做到接口测试数据和业务逻辑分离，增强复用性和用例的可维护性。

预期结果
json 格式
{"检查":"body",
"匹配规则":"包含字符串",
"条件":[{"模式":"\"success\":true", "消息":"创建储值卡支付订单失败，success 不为 True"}],
"输出":{"success": "\"success\":(.+?),","attach":"attach\":\"(.+?)\""}
}
注：
1、预期结果要么按规范填写，要么为空，啥都不写
2、如果不想定义变量存储服务器返回结果，则不填写 “输出键值对”
3、注：匹配规则和条件，要么都写，要么都不写，如下

{"检查":"body",
"输出":{"success": "\"success\":(.+?),","attach":"attach\":\"(.+?)\""}
}

样例

针对 http,https 请求，且步骤执行单个用例、不是执行 sql，按如下填写，json 格式
步骤动作
{
"步骤类型":"执行用例",
"用例 id":106,
"用例名称":"test-n-创建储值卡支付订单"
}

预期结果
为空，不填写

样例

针对步骤行 sql，按如下填写：
更新 (UPDATE)
步骤动作
json 格式
{
"步骤类型":"执行 sql",
"数据库":"db_name",
"更新":"UPDATE mall_shopping_cart SET amount = 0 WHERE customer_id = %s and closed=1",
"参数":"([CaseStep.customer_id],)"
}

注意：
1、如果 “参数” 值为空，则填写为 "参数":""
2、“数据库”，要从那个数据库查数据，其值来源于 global_var 里面的数据库对象名称。如下图

注意：这里如果添加了数据库对象，需要在 main.py 近末尾处中添加关闭数据库连接的代码 db_name.close()

预期结果
为空，不填写

查询 (SELECT)
步骤动作
json 格式
{
"步骤类型":"执行 sql",
"数据库":"db_name",
"单条查询":"SELECT id FROM customer WHERE channel_serial=%s",
"参数":"(\"[global_openId]\",)"
}

注:参数值为元组的字符串类型表示 (value1,value2,……)，如果参数为空则 "参数"："",如果参数值为字符串类型的，则按这样填写： (\"参数值\",)

预期结果
json 格式
{"检查":"body",
"输出":{"customer_id":1}
}

或者如下
{"检查":"body",
"输出":{"customer_id":1},
"匹配规则":"相等",
"条件"：[{"模式"："[CaseStep.device_no]=123456", "消息"：“登录失败，device_no 不为 123456”}]
}

注：预期结果要么为空，要么严格按照上述填写

样例

其它一些样例
发送请求参数为 xml 格式

发送请求参数为 json 格式

容错处理

②　参数化

1) 针对 https,http 请求，且不是执行 sql，也不是执行整个用例的步骤动作、预期结果

如果参数位于 “参数”、“请求体”，且 “参数”、“请求体” 的值为字典，按如下格式填写
"[var_name]"
{
……,
"参数":{"key1":"[global_var1]","key2":"[global_var2]"}
}

{
……,
"请求头":{"DeviceId":"[CaseStep.device_no]", "SerialNo":"[CaseStep.serial_no]", "Content-Type":"application/json;charset=utf-8","ProductVersion":"[global_product_version]","ProtocolVersion":"[global_product_version]","OperatorId":"[OperatorId]", "Token":"[Token]"},
……
}

如果参数位于 “url” 或者预期结果 “条件” 中的字典 key 对应的值，按如下格式填写
[var_name]
{
……,
"urL":"/kq/getincoupon/40758966216286146560/[global_openId]",
……
}

{
……,
"条件"：[{"模式"：｛"key": "[CaseStep.branch_id]"},"消息"：“key 错误”}]
……
}

2) 针对执行 sql 的步骤动作、预期结果

参数位于步骤动作、步骤预期结果，按如下格式填写
[var_name] 或者 \"[var_name]\"
{
……，
"参数":"(\"[global_openId]\",)"
……
}

{
"检查":"body",
"匹配规则":"相等",
"条件"：[{"模式"："[CaseStep.device_no]=123456", "消息"：“登录失败，device_no 不为 123456”}]
}

注：如果待替换"动态变量" [var_name] 为字符串类型的变量，需要在其左右两侧加 \" 符号，形如 \"[global_openId]\"

3) 变量划分

全局变量 [global_var]，来自 globalpkg.global_var.py 中定义的，var_name 和定义的全局变量名称保持一致即可

非全局变量 [ClassName.var_name]，可能来自 sql 查询结果，也可能来自 http(s) 请求返回结果中提取的

A)“步骤动作” 中的非全局变量来源于某个 sql 查询结果，则按如下格式填写

[CaseStep.var_name]

样例

B)“步骤动作” 中的非全局变量来源于某个 http(s) 请求返回结果，则按如下格式填写

[ClassName.var_name]、[ClassName.var_name_N]

样例

注：
1、当调用的函数为默认类名，即 InterfaceUnittestTestCase 类中定义的方法时，这里 “ClassName.” 可以不写，如果是调用其它新增类中的方法时，需要显示的填写
2、当且仅当变量是通过正则表达式提取的时候，采用 [ClassName.var_name_N]，的形式 N 从 1，2，3，……以此类推

4) 结果断言和服务器返回内容提取

参考 “结果断言和提取服务器返回结果.txt” 文档

③　用例执行依赖

全局初始化用例

注：全局初始用例在 runmodeconfig_运行环境.conf 中进行配置，优先于其它用例被执行

注意：没有则全局初始化用例保持为空 global_cases_str =

当把某个用例作 (假设为 “用例 1” ) 为其它用例的某个步骤，不能满足需求 (比如提供的接口输入参数值不一样) 时，可以复用 “用例 1” 的步骤信息并对参数进行适当的调整

④　禁用用例

注意：被禁用的用例不参与执行，计划，项目也是如此

7、运行结果

8、源码下载

下载地址,未注册 github，直接网盘共享了:http://pan.baidu.com/s/1o7L6uPO，

下载后解压，用 pycharm 导入项目即可，必要时可能需要修改.idea/workspace.xml 中 python 程序所在路径

9、说明

时间有限，精力有限，暂且就到这吧，有需要的可以自己扩展、修改框架。
注：目前还存在个 bug，测试报告中，类似 xml 格式参数的参数值没显示出来，有兴趣的烦先自己解决下。