通用技术 [分享] 自动化测试与持续集成方案 -- 接口测试

snake · 2015年05月07日 · 最后由 王梦茹 回复于 2017年02月20日 · 5650 次阅读
本帖已被设为精华帖!

有人在上一个帖子中问,为什么要把接口测试排在最前面。 原因很简单,接口是先行的,接口没做好,后面的编码工作受限,拿不到数据。

  1. 传统接口测试
  2. 接口自动化测试
  3. 接口自动化的持续集成
  4. 探讨

传统接口测试


不知道别人家的接口测试是怎么做的。这边是用 postman 这个 google 插件。测试人员按照接口开发人员的 wiki,设计测试用例,然后 post/get 一下。查看返回 json 的状态或者字段。

弱点是不便于管理 case 和不方便统计结果,执行要一个一个手工去点,效率低下。

接口测试自动化


我用 python 写了个脚本,将 case 写在 excel 里,然后读取 excel 来实现这个过程,并自动判断和统计结果,生成报告。
case 这么设计的。

脚本这么写的:

#encoding:utf-8

import ConfigParser
import os
import xlrd
import re
import httplib
import urllib
from urlparse import urlparse
import json
import time
import unittest
import pdf

currentdir=os.path.split(os.path.realpath(__file__))[0]
class test_class():
    def getexcel(self):
        casefile=currentdir + '/case.xls'
        if ((os.path.exists(casefile))==False):
            print "当前路径下没有case.xls,请检查!"
        data=xlrd.open_workbook(casefile)
        table = data.sheet_by_name('login')
        nrows = table.nrows #行数
        ncols = table.ncols #列数
    #colnames = table.row_values(1) #某一行数据
        for rownum in range(1,nrows):
            for col in range (3, ncols):
                value=table.cell(rownum,col).value
                if (col==3):
                    method=value
                if (col==4):
                    url=value
        return table,nrows,ncols

    def getexceldetail(self,table,row,ncols):
        #rownum = table.row_values(row) #某一行数据

        for col in range (0, ncols):
            value=table.cell(row,col).value
            if (col==0):
                caseid=value
        print caseid
            if (col==3):
                method=value
        print method
            if (col==4):
                url=value
        return method,url,caseid

    def httpget(self,url):
        httpClient = None
        conn = urlparse(url)
        url=url.encode('utf-8')
        try:
            httpClient = httplib.HTTPConnection(conn.netloc, timeout=10)
            httpClient.request('GET', url)

        # response是HTTPResponse对象
            response = httpClient.getresponse()
            print response
            d0=response.read()
            d0=d0.decode('unicode_escape')
        except Exception, e:
            print e
        finally:
            if httpClient:
                httpClient.close()
    return response.status,d0

    def httppost(self,url):
        httpClient = None
        conn = urlparse(url)
        url=url.encode('utf-8')
        try:
            header = {"Content-type": "application/x-www-form-urlencoded",
                  "Accept": "text/plain"}

            httpClient = httplib.HTTPConnection(conn.netloc, timeout=30)
            httpClient.request("POST", url)
            response1 = httpClient.getresponse()
            d1=response1.read()
            d1=d1.decode('unicode_escape')
        except Exception, e:
            print e
        finally:
            if httpClient:
                httpClient.close()
        return response1.status,d1

代码太多了点,没写下。其实就是一个读 excel,一个 post,一个 get 的过程。
后面还有一个对 json 的解析过程。开始以为是一个字典就搞定了,后面发现有些{}里面嵌套了好几层。
最后用了个递归搞定。

#! /usr/bin/env python
#coding=utf-8
import urllib2
import json


class readjson():
    def read(self,obj,key):
        collect = list()
        for k in obj:
            v = obj[k]

            if isinstance(v,str) or isinstance(v,unicode):
                if key== ' ':
                    collect.append({k:v})
                else:
                    collect.append({str(key)+"."+k:v})
            elif isinstance(v,int):
                if key== ' ':
                    collect.append({k:v})
                else:
                    collect.append({str(key)+"."+k:v})
            elif isinstance(v,bool):
                if key== ' ':
                    collect.append({k:v})
                else:
                    collect.append({str(key)+"."+k:v})
            elif isinstance(v,dict):
                collect.extend(read(v,k))
            elif isinstance(v,list):
                collect.extend(readList(v,key))
        return collect

    def readList(self,obj,key):
        collect = list()
        for index,item in enumerate(obj):
            for k in item:
                v = item[k]
                if isinstance(v,str) or isinstance(v,unicode):
                    collect.append({key+"["+str(index)+"]"+"."+k:v})
                elif isinstance(v,int):
                    collect.append({key+"["+str(index)+"]"+"."+k:v})
                elif isinstance(v,bool):
                    collect.append({key+"["+str(index)+"]"+"."+k:v})
                elif isinstance(v,dict):
                    collect.extend(read(v,key+"["+str(index)+"]"))
                elif isinstance(v,list):
                    collect.extend(readList(v,key+"["+str(index)+"]"))
        return collect


#ojt=test_data1

#print read(ojt,' ')

最后是结果:

是用 python 写图表,生成 pdf.

from reportlab.graphics.shapes import Drawing  
from reportlab.graphics.charts.barcharts import VerticalBarChart  
from urllib import urlopen    
from reportlab.graphics.shapes import *    
from reportlab.graphics.charts.lineplots import LinePlot    
from reportlab.graphics.charts.textlabels import Label    
from reportlab.graphics import renderPDF  
class pdfreport():
    def createpdf(self,datas):
        drawing = Drawing(400, 200)
        #data = [(13, 5, 20),(14, 6, 21)]
        data=datas
        bc = VerticalBarChart()
        bc.x = 50
        bc.y = 50
        bc.height = 125
        bc.width = 300
        bc.data = data
        bc.strokeColor = colors.black
        bc.valueAxis.valueMin = 0
        bc.valueAxis.valueMax = 50
        bc.valueAxis.valueStep = 10
        bc.categoryAxis.labels.boxAnchor ='ne'
        bc.categoryAxis.labels.dx = 8
        bc.categoryAxis.labels.dy = -2
        bc.categoryAxis.labels.angle = 30
        bc.categoryAxis.categoryNames = ['Jan-99','Feb-99','Mar-99']
        #bc.categoryAxis.categoryNames =ytype
        drawing.add(bc)

        drawing.add(String(250,150,"ss", fontSize=14,fillColor=colors.red))
        #drawing.add(String(250,150,des, fontSize=14,fillColor=colors.red))
        renderPDF.drawToFile(drawing,'report1.pdf','API')
        #renderPDF.drawToFile(drawing,'APIReport.pdf','API')

datas=[(0,20),(0,25)]
f=pdfreport()
f.createpdf(datas)

接口自动化的持续集成


配置到 jenkins 上也很简单,这里就不过多描述。现在问题是,生成的报告是 pdf。Jenkins 里面不太好展现出来。弄成 zip 附件查看不方便。最后我写个脚本将其传到共享里面,或者写脚本用邮件发出来。后面写打包的时候会讲到的。

探讨


这些脚本,还有很多可以完善的地方。我也没有花太多的精力去完善,我的宗旨是花少的时间,搞出简单又好用的东西。
上次看到思寒的一篇文章,就是自动生成接口的测试用例,这样效率大大提高了。
思寒:接口测试中数值 diff
遗憾的是,我没有完全搞明白他具体怎么做的,还要向思寒学习。

PS: 最近想挪窝,base 上海,求收留。可以联系恒温和在群里找糖果

如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!
共收到 35 条回复 时间 点赞

好高端,我现在只会用 postman+newman+jenkins 的组合,python 只会皮毛……楼主好腻害

#27 楼 @jet 是呢,excel 确实比较臃肿,而且可视化不好,后续维护 case 个人感觉代价太大,还不如可视化的 web 界面好一点,不过这样,需要自己搞一个平台才行,不太好嫁接其他的工具吧

花少的时间,搞出简单又好用的东西。

这句太同意了

匿名 #32 · 2016年05月06日

简洁胜过复杂--
解析测试数据、构造请求、解析结果这部分都过于复杂。

  1. 解析数据这一块既然 Excel 模板已有,完全可以封装成 get_case_by_name(case_name)、get_case_by_id(case_id), 返回一个 dict 包含一条测试用例需要用到的数据
  2. 构造请求,同所有人,requests 库
  3. 解析结果,json.loads(response.json()),然后遍历 dict 要容易处理。

您好,我能加你 qq 吗?有点问题想请教您,我的 qq1061611970

ride 直接做不可以嘛?

谢谢 ,看一看

我做过类似的 API 测试,也是基于 Python+Nosetests,,希望这几点对你有用:
1、Excel 文件读写可以对比下如下模块:XlsxWriter、xlrd&xlwt、OpenPyXL、Microsoft ExcelAPI。
2、报告可以采用 HTML 的格式,如 HTMLTestRunner,其方便,见下图:

3、测试结果自动推送能不能推送到工作工具,比如:RTX、百度 Hi、QQ

为何大家都用 Excel?个人觉得比较臃肿。我目前在用 Java 开发接口自动化,思路和你一样,不过用虚拟机搭一个小型的 Web 加一个小数据库,方便实在,输出也可以写到静态页面在 web 上展示。这样不好吗?

如何用不同的 IP 与 UA 头去点击一个链接

请问下你的 checkpoint 怎么定义?类似于直接 json 对比 code 为 0 就为成功?

snake #24 · 2015年05月26日 Author

@284772894 能达到效果就行了,我一贯的宗旨是:好用,方便,简单

我也写过 python 接口测试,比较简单,很多地方没有优化,发出来献丑了:
https://github.com/284772894/httpmat
持续集成一直想去弄,但是就我们公司现在这情况,我只能呵呵。。。。

#20 楼 @snake 可以用 xml 的方式定义结构,属性和默认值注入,按照 xml 里的节点 set attribute,这样不需要改代码就可以生成一个新的类,然后重写他的eq方法,这样就可以比较你想比较的字段。在 xml 中还可以反射方法,用来初始化。

snake #21 · 2015年05月25日 Author

@michael_wang 状态是最基本的,会对关键的值校验,如果需要检验全部也是可以的,这个就看需要了。

snake #20 · 2015年05月25日 Author

@flint 你的建议我会考虑的。

snake #19 · 2015年05月25日 Author

@sunrise 有空去瞅瞅。

为何不用 requests 这个库,方便太多。

提两个小建议:

  1. 对于复杂的结构比较可以自己定义一个类,然后把你期待的值和返回的值都放到这个类对象中进行比较。这样的好处是可读性比较强,而且在你做其他 level 的测试时可以复用,比如 UI driven。
  2. 不知道你们用什么管理 case,其实用 excel 的方式也行,但是不利于统一管理和分享,可以考虑和 case 管理工具集合起来,这样如果有任何修改也不用在不同的地方进行反复修改了,而且任何人可以更新用例

可以上传到 github 里,参考一下吗楼主?

请教下,你对接口返回的值是全部验证吗?还是只验证一个状态?

我用的 java HTTPclient + testNG

snake #13 · 2015年05月14日 Author

@75281920 方案很多,不管是做自动化,还是做接口测试,RF 差不多都是最简单的。Robotframework 很容易上手的,好像通用性不是特强吧,你有在 Mac 下整过 Robotframework 么?

snake #12 · 2015年05月14日 Author

@mic jmeter+jenkins 的我差不多已经整明白,搞出来了。

你这种测试,可以考虑结合 robotframework 来做的,更加简便,也能满足你现在的要求

有想法,可以实际中使用有限制。
不如 7 楼说的直接用 jmeter,而且 Jenkins 中有现成的 jmeter 插件,报告也有了~
ps:貌似京东的某团队的接口测试就是 jmeter+jenkins

@jennyhui 这个就看你意愿了,可以写死,也可以写配置文件。

接口传的参数也写在 excel 内写死的吗 我之前也是用 Python 的 request json 处理简便一点 楼主这个生成图表的不错 感觉你代码写得比我高端多了 nice·· :plus1:

我们是直接用 jmeter 来管理所有的接口,通过命令启动 jmeter,写了个 python 脚本把 jmeter 生成的结果文件转化成需要的报告,在部署到 jenkins 上来实现持续集成,感觉这样比较简单,需要 coding 的部分就是生成报告这块啦~

可惜 base 上海, 不然我们就要了.

楼上说的对~

可以试试 requests 这个库,比 urllib 好用太多;JSON response 可以直接用 JSON 库转化成字典:)

恩。很好的方式。
接口多的话,都可以套个框架巡检起来了,逻辑也可以做深一点。

同时继续寻找东家,没太多时间出去面试,就在这里毛遂自荐了。

今天晚上要加个通宵的班,后面会停几天,我会坚持把后面的写完。

需要 登录 后方可回复, 如果你还没有账号请点击这里 注册