在开展自动化测试工作时,经常会由于一些外在原因(如网络中断、返回超时)导致自动化测试用例运行失败,而这些失败并不是用例本身验证或被测程序存在 Bug 而引起的,更可气的是这些失败场景有可能还是偶发的,为了保证测试用例运行的稳定性和验证有效性,我们需要一种针对失败用例重试的运行机制。
今天给大家分享的主题:自动化测试工作中,用例脚本失败重试机制的实现方式。
结合自动化测试框架来讲,用例运行失败重试机制,通常有三种形式来实现:
借助依赖框架自身是否有用例失败重试运行机制。
从用例脚本自身逻辑处入手,实现失败运行重试。(适用于被特殊处理过的用例逻辑)
从扩展框架源码,自定义失败重试运行机制。(通常适合于所有失败用例)
接下来,我们以Robot Framework
框架为例,以具体的实战示例项目介绍如何实现用例失败重试机制。
为了便于演示,重新创建一套新的虚拟隔离环境,用于搭建Robot Framework
框架,操作步骤如下。
1、创建虚拟环境robotframework_env
python3 -m venv robotframework_env
2、激活虚拟环境
cd robotframework_env
source bin/activate
3、在虚拟环境中,安装 robotframework、robotframework-ride 库(安装最新即可)。
pip install robotframework
pip install robotframework-ride
如下图所示:
4、 输入命令:bin ./ride.py
启动 RIDE,如下图所示。
PS: 其它三方库演示项目中,暂不需要,读者可根据实际需求,自行安装。
1、 创建trainning
演示项目,并在项目下,创建失败重试机制实战目录
,并依次创建测试套件、测试用例,示例结构如下:
2、 编写测试用例,测试用例逻辑如下:
*** Settings ***
Library Collections
*** Test Cases ***
Class_01_随机取数,模拟随机出现失败场景
@{list}= create list 1 2 3
${random_num}= Evaluate random.choice(${list}) random
log ${random_num}
should be true ${random_num}==2
create list
关键字创建了一个名称为 ${list}的列表变量,并依次存入 1、2、3 三个元素。Evaluate
万能关键字,结合random.chocie
方法,从 ${list}列表中随机取出一个整型元素,保存到名称为 ${random_num}变量中。should be true
关键字,断言 ${random_num}变量等于 2,由于第二步的随机取值,会让 ${random_num}变量值具有随机性(可能等于 2,也可能是 1 或 3),从而实现模拟一条随机失败的用例场景。运行成功结果:
运行失败结果:
Robot Framework 官方并没有提供类似 retry 等参数来配置失败用例重执行。仅仅提供了--rerunfailed
参数对基于结果文件 output.xml 来选择重新执行失败的用例。
1、 以第 3 节中新建的示例项目为例,为了便于演示,以命令行来操作,在命令行中输入执行用例命令,并且将输出文件保存到original.xml
文件中。
robot --output original.xml .
2、 重新运行测试用例,并将第二次运行的结果文件输出保存到rerun.xml
文件中。
robot --output rerun.xml --rerunfailed original.xml .
3、合并两次运行的结果输出文件。
rebot --merge original.xml rerun.xml
在 Robot Framework 中除了有--rerunfailed
参数针对失败的测试用例外,也有针对测试套件的--rerunfailedsuites
,参数详细说明如下:
-R --rerunfailed output Select failed tests from an earlier output file to be
re-executed. Equivalent to selecting same tests
individually using --test option.
------------------------------------------------
-S --rerunfailedsuites output Select failed suite from an earlier output file
to be re-executed. New in RF 3.0.1.
-R
或--rerunfailed
参数非常有用,它的作用是从 output file 中选择失败的用例重跑。但是有个问题,如果上一次运行时用例全部成功,此时加上-R 参数再去运行用例时会报错: failed: All tests passed ,这导致我没办法在 jenkins job 中使用这个参数。
-S
或--rerunfailedsuites
参数和-R 参数的作用类似,它的作用是从 output file 中选择失败的用例套件重跑。
第二种方法,我们介绍,如何基于用例脚本逻辑特殊改造,实现用例失败后的重试机制。
基于用例逻辑增加重试机制,核心实现思路:基于 RF 内置变量${TEST_STATUS}
获取用例运行结果,再结合Teardown
运行改造后的关键字逻辑即可。
操作如下:
1、对示例 1 中的Class_01
测试用例进行改造,抽取用例逻辑部分,存放到单独的关键字下,名称如测试用例关键字
。
*** Keywords ***
测试用例关键字
@{list}= create list 1 2 2
${random_num}= Evaluate random.choice(${list}) random
log ${random_num}
should be true ${random_num}==2
2、 添加关键字用例重试机制
,增加用例重试机制的处理逻辑:
*** Keywords ***
用例重试机制
[Arguments] ${times}
${status}= set variable ${TEST STATUS}
FOR ${index} IN RANGE ${times}
log 第${index+1}运行结果: ${status}
Exit For loop if '${status}'=='PASS' or '${status}'=='True'
log 第${index+1}次重试运行
${status}= Run keyword And Return Status 测试用例关键字
END
在用例重试机制
关键字中,先通过${TEST STATUS}
内置变量,获取用例执行结果,并且接收变量 ${times}用于控制重试次数,如果用例执行状态等于PASS
则直接退出重试,否则调用Run keyword And Return Status
关键字继续运行测试用例。
3、为了便于演示,增加一条名称为Class_02
测试用例,内容如下:
Class_02_随机取数,模拟随机出现失败场景
测试用例关键字
[Teardown] run keyword 用例重试机制 5
到此, 我们已经在用例逻辑层面实现了用例失败重试机制了。
PS: 针对用例逻辑层面实现重试机制,也可以采用关键字: Wait Until Keyword Succeeds,读者可根据自身需求进行改造,本文的用例重试机制并不是唯一的方法。
除了上述两种方法,最后一种方法是基于框架层面进行改造,增加全局重试机制,
通过改写Robot Framework
源代码增加--retry
选项,实现 test 级别的失败用例自动再执行,比如用例失败后,会重新运行 N 次,直至成功 or 耗尽重试次数,生成的日志和报告文件中只会体现最后一次执行的结果。
类似如下命令格式:
robot --retry 3 trainning
具体实现:
1、修改文件 : robotframework_env/lib/python3.7/site-packages/robot/run.py
,在 USAGE 变量里添加retry
参数。
-F --extension value Parse only files with this extension when executing
a directory. Has no effect when running individual
files or when using resource files. If more than one
extension is needed, separate them with a colon.
Examples: `--extension txt`, `--extension robot:txt`
New in RF 3.0.1. Starting from RF 3.2 only `*.robot`
files are parsed by default.
-N --name name Set the name of the top level suite. By default the
name is created based on the executed file or
directory.
-H --retry retry Set the retry times if test failed.
2、在 run.py 文件,RobotFramework
类增加make
方法,并在开始之前导入库from xml.dom import minidom
。
def make(self, outxml):
xmldoc = minidom.parse(outxml)
suiteElementList = xmldoc.getElementsByTagName('suite')
mySuite = []
for suiteElement in suiteElementList:
if suiteElement.childNodes is not None:
for element in suiteElement.childNodes:
if element.nodeName == 'test':
mySuite.append(suiteElement)
break
for suite in mySuite:
testElements = {}
for element in suite.childNodes:
if element.nodeName == 'test':
name = element.getAttribute('name')
if testElements.get(name) == None:
testElements.update({name: [element]})
else:
testElements.get(name).append(element)
for n, el in testElements.items():
for i in el[0:-1]:
textElement = i.nextSibling
suite.removeChild(i)
suite.removeChild(textElement)
savefile = open(outxml, 'w')
root = xmldoc.documentElement
root.writexml(savefile)
savefile.close()
3、RobotFramework
类的main
方法,加入红色内容 self.make(settings.output)
4、 打开 robot/conf/setting.py 文件,修改_cli_opts 字典,增加'Retry': ('retry', 3),
,如下所示:
5、打开robot/model/itemlist.py
文件,修改 visit 方法:
def visit(self, visitor):
for item in self:
if self.__module__ == 'robot.model.testcase' and hasattr(visitor, "_context"):
testStatus = ''
for i in range(0, int(visitor._settings._opts['Retry'])):
if testStatus != 'PASS':
if item.name in visitor._executed_tests:
visitor._executed_tests.pop(item.name)
item.visit(visitor)
testStatus = visitor._context.variables['${PREV_TEST_STATUS}']
else:
break
else:
item.visit(visitor)
6、做完如上配置之后,我们来验证一下参数是否配置成功了,输入robot —help
查看一下配置参数项。
7、 输入如下命令,结合Class_01
用例,验证用例失败重试机制:
robot --test Class_01_随机取数,模拟随机出现失败场景 --retry 3 .
如果测试用例运行结果为 PASS,运行一次即正常结束,如果用例运行失败,则会重试 3 次执行。
本文以Robot Framework
框架为例,介绍了在自动化测试过程中,如何实现用例脚本失败重试机制,并且分享了三类实现思路:
借助依赖框架自身是否有用例失败重试运行机制。
从用例脚本自身逻辑处入手,实现失败运行重试。(适用于被特殊处理过的用例逻辑)
从扩展框架源码,自定义失败重试运行机制。(通常适合于所有失败用例)
认真品味本文的读者,会发现,虽然本文内容是以Robot Framework
框架为例,但其实任何自动化测试框架,要实现测试用例脚本重试机制,都绕不开本文所提到的三类实现方式思路。学会变通、灵活运用才是王道
。
希望对大家在实施自动化测试工作当中有所帮助或启发!如果觉得有用,不用以身相许,关注一下就行
。
原文传送门: 原文阅读