接口测试 Python Requests 小技巧总结.

0x7C00 · July 17, 2019 · Last by Felix replied at July 18, 2019 · 1580 hits

背景

如果用Python 写接口自动化测试,很难回避掉一个第三方库requestsPython HTTP Requests for Humans™,所以之前有总结一些使用技巧。最早是在2016年10月11日写的Python Requests 技巧总结,因为感觉比较简单,觉得没必要分享出去。但后面招人的时候,发现很多人只知道简单的get,post 方法,再多问一些,例如: requests库如何保持请求之间的cookie?有一部分回答是用cookiejar,自己手动添加,还有些就不知道怎么处理,极少一些提到用Session类,如果再深入问,为什么Session可以保持请求之间的cookie就没有能回答的。以下就是自己关于requests的一些总结,与大家分享,希望对你有帮助.


1:保持请求之间的Cookies,我们可以这样做。

import requests
self.session = requests.Session()
self.session.get(url) # 可以保持登录态

为什么Session 可以实现请求之间的cookie保持呢?
因为底层使用的是urllib3.connectionpool 一看到连接池就会联想到数据库的连接池,对就是池化的概念。且链接是采用的HTTP 长链接,再底层是用HTTP1.1 Connection: keep-alive来实现的,具体 Connection: keep-alive 是什么,可以google看下

# 可以跳进Session类,看下345 
self.headers = default_headers()

再跳进default_headers
def default_headers():
"""
:rtype: requests.structures.CaseInsensitiveDict
"""

return CaseInsensitiveDict({
'User-Agent': default_user_agent(),
'Accept-Encoding': ', '.join(('gzip', 'deflate')),
'Accept': '*/*',
'Connection': 'keep-alive', # requests 默认Connection
})

2:请求时,会加上headers,一般我们会写成这样

self.session.get(url, params, headers=headers)

唯一不便的是之后的代码每次都需要这么写,代码臃肿,所以我们可以这样:


# 可以设置是全局的,设置请求头
self.s = requests.Session()
self.s.headers = {Content-Type: application/json}

# 移除SSL验证
self.s.verify = False

# 设置代理
self.s.proxies={'aa'}

# 如果后续headers有改变,再次赋值就可以了。
self.s.get(url, params, headers=new_headers)

3:默认requests请求失败后不会重试,但是我们跑case时难免遇到一些网络,服务重启,外部原因导致请求失败,我们可以在Session实例上附加HTTPAdapaters 参数,增加失败重试次数。

request_retry = requests.adapatrs.HTTPAdapaters(max_retries=3

self.session.mount('https://',request_retry)
self.session.mount('http://',request_retry)

这样,之后的请求,若失败,重试3次。


4:重定向
网络请求中可能会遇到重定向,我们需要一次处理一个请求,可以把重定向禁止。

self.session.post(url,data,allow_redirects=False)

5: post请求提交json格式数据时(请求头为:{"Content-Type": "application/json"}),先要把python对象转换成json对象。我发现很多人是这样写:

self.session.post(url, data=json.dumps(data))

其实post有一个默认关键字参数json,可以直接简写成(你知道params, data, json 3个关键字参数有什么不同吗?):

self.session.post(url, json=data)

6:写接口请求,debug时,会需要看下代码请求的详细信息,当然我们可以使用fiddler或者console打印日志来查看,其实我们自己也可以在代码这样获取debug信息***

import requests
import logging
import httplib as http_client

http_client.HTTPConnection.debuglevel = 1

logging.basicConfig()
logging.getLogger().setLevel(logging.DEBUG)
requests_log = logging.getLogger("requests.packages.urllib3")
requests_log.setLevel(logging.DEBUG)
requests_log.propagate = True

requests.get('https://www.baidu.com')

#更好的方法是自己封装一个装饰器,就可以为任意请求函数添加一个debug功能。

7:使用grequests实现异步请求。

pip install grequests

import grequests

urls = [
'http://www.url1.com',
'http://www.url2.com',
'http://www.url3.com',
'http://www.url4.com',
'http://www.url5.com',
'http://www.url6.com',
]

resp = (grequests.get(u) for u in urls)
grequests.map(resp)

# [<Response [200]>, <Response [200]>, <Response [200]>, <Response [200]>, <Response [200]>, <Response [200]>]


8:发送自定义cookies
我们使用Session实例来保持请求之间的cookies,但是有些特殊情况,需要使用自定义的cookies
我们可以这样

# 自定义cookies
cookie = {'guid':'5BF0FAB4-A7CF-463E-8C17-C1576fc7a9a8','uuid':'3ff5f4091f35a467'}

session.post('http://wikipedia.org', cookies=cookie)


9:需求确定前后端并行设计时,这时测试并没有办法调用接口,如何做接口测试呢?我们可以使用mock或者是httpretty

import requests
import httpretty

# 模拟返还的状态码
@httpretty.activate
def test_beta1_access():
httpretty.register_uri(httpretty.GET, "http://beta.com/",
body="here is the mocked body",
status=201)

response = requests.get('http://beta.com')
expect(response.status_code).to.equal(201)

# 模拟返还responsebody
@httpretty.activate
def test_some_api():
httpretty.register_uri(httpretty.GET, "http://beta.com/",
body='{"success": false}',
content_type='text/json')

response = requests.get('http://beta.com/')

expect(response.json()).to.equal({'success': False})

详细使用可以查看API_DOC


10:统计一个API请求花费的时间,我们可以使用如下方法

self.session.get(url).elapsed.total_seconds() 


11:设置请求超时


self.session.get(url, timeout=15)

# timeout 仅对连接过程有效,与响应体的下载无关。
# timeout 并不是整个下载响应的时间限制,而是如果服务器在15 秒内没有应答,将会引发一个异常(更精确地说,是在 timeout 秒内没有从基础套接字上接收到任何字节的数据时)

12: requests的response 对象有3个方法区别


response.json()
response.text
response.content

# response.text返回的是Unicode型的数据。
# response.content返回的是bytes型也就是二进制的数据。

也就是说,如果你想取文本,可以通过r.text。
如果想取图片,文件,则可以通过r.content。
详细参考requests的content和text方法的区别

关于requests的小技巧,就是这些, 希望对你有帮助! 😃

如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!
共收到 5 条回复 时间 点赞

66666,很实用,还可以加一些,requests怎么上传图片、怎么处理重定向

0x7C00 #2 · July 17, 2019 作者
beck 回复

恩恩,如果有遗漏的requests小技巧,大家都可以在下面评论里边帮忙添加啊。😀

楼主赞

学到了!!赞~~

赞,学习了,非常感谢

需要 Sign In 后方可回复, 如果你还没有账号请点击这里 Sign Up