Docker docker + selenium + jenkins 并行跑自动化测试

阿东 · October 25, 2018 · Last by 阿东 replied at December 26, 2018 · 11727 hits
本帖已被设为精华帖!

背景

目标:使用docker做UI自动化测试并在Jenkins运行

调试环境:MocOS

运行环境:Linux ubuntu + docker

涉及工具:docker,selenium,unittest, jenkins

基本思路

找一个适合做自动化的docker镜像,使用selenium-grid 远程执行selenium。镜像采用 elgalu/selenium,已经集成了UI,chrome/firefox 等浏览器,包括webdriver驱动,十分方便。

镜像仓库地址:

https://github.com/elgalu/docker-selenium

接下来开工:

1. 在elgalu/selenium基础上简单编译

为了方便,脚本代码运行也设置在镜像里面。因此定制了我们自己的镜像文件:

FROM elgalu/selenium
RUN sudo apt-get update -y \
&& sudo pip install selenium \
&& mkdir /home/seluser/automation/myScript
ADD . /home/seluser/automation/myScript
WORKDIR /home/seluser/automation/myScript #定义工作目录

2. 用Python+selenium编写测试用例

if REMOTE:  # 定义一个开关变量方便本地和远程调试切换
selenium_grid_url = "http://guest.docker:24444/wd/hub"
capabilities = webdriver.DesiredCapabilities.CHROME.copy()
d = webdriver.Remote(command_executor=selenium_grid_url, desired_capabilities=capabilities) #通过selenium启动docker里面chrome
else:
d = webdriver.Chrome() #通过selenium启动本地chrome
##具体的UI测试代码

此处是启动selenium或者或者selenium -grid 部分主要代码,不能直接运行。如果需要调用远程的selenium_grid需要URL加端口号的形势http://guest.docker:24444/wd/hub,guest.docker是docker内网分配的IP,因为在docker里面的host文件没有发现容器名和IP的映射,因此从docker里面hosts文件选用guest.docker这个名字,等发现更好解决方案后再更新。

3. 执行和调试

本地调试不再多说,主要说一下怎么在docker调试和运行。先启动容器:

执行命令 :

docker* run --rm -p 5904:25900 -p 4444:24444 -v "$(pwd)":/home/seluser/automation/myScript --name automation-container automation-test:latest

启动成功之后可以通过vnc工具查看容器的UI界面

简单说明一下参数,5904是VNC需要用到的端口,可以通过本地VNC(127.0.0.1:5904)工具查看case运行效果。4444是selenium grid的映射端口。-v是把本地磁盘挂载到容器,方便代码调试, 因为采用$(pwd),表示当前路径,所以执行docker启动命令时候应该在自动化脚本所在位置。

现在本地调试case,注意这个时候selenium_grid_url值应该是http://localhost:4444/wd/hub

最后在容器里面执行case,可以通过docker exec名执行, 比如docker exec -it container_name python /home/seluser/automation/myScript/example.py 确认没有没有问题后可以上Jenkins测试

需要注意的是如果case运行失败selenium grid是不会自动退出的,此处借助Python unit test的teardown方法结束selenium进程,比如:

def tearDown(self):
print("start to teardown")
time.sleep(10)
self.d.close()
self.d.quit()

运行脚本,可以再VNC看到运行效果:

4. 在Jenkins 运行

跟本地容器执行步骤一直,同样的可以通过VNC监测执行过程。此处启动容器和关闭容器单独做成了两个job,方便处理环境问题。

Jenkins上面执行docker exec -it时候碰到一个"The input device is not a TTY"错误。减少一个T参数可以解决。问题参考:

https://stackoverflow.com/questions/43099116/error-the-input-device-is-not-a-tty

jenkins 并行运行多个容器

因为我们是通过容器化的方式启动的UI测试环境,同一个宿主机是可以启动多个容器的。假设我们的UI测试用例比较多的时候,我们可以同时运行多个容器来减少UI case的运行时间,配置方式比jenkins的分布式运行又更方便,怎么实现呢?启动多个容器我们只需要改变容器名字和映射的端口号即可,比如把前面启动容器命令简单更新一下

docker run --rm -p 5906:25900 -p 4466:24444 -v "$(pwd)":/home/seluser/automation/myScript --name automation-container-robot -d automation-test-robot

此处我们只更新了端口(5906,4466)和容器名字,就能启动多个UI环境并行运行case,是不是很爽哦?

执行完之后需要强制关闭容器,防止异常退出情况。启动容器和关闭容器单独做成了两个job,方便处理环境问题。

到此处基本大功告成。此项目还有很多不足地方,欢迎大家讨论。

demo相关完整例子:
https://github.com/Danielyan86/Python-Study/tree/master/DockerDemo/automation_test/unittest_demo

共收到 13 条回复 时间 点赞

昨天产品给我们推了一个需求就是把UI脚本放到Jenkins+docker上面跑,一直还没思路怎么实现,突然逛到了你的文章,感谢楼主引路;那现在有个问题不是很明白:楼主你的文章讲了selenium的,那移动端的实现也是不是一样的思路呢?最后期待楼主的demo👏 👏 👏

pan 回复

谢谢鼓励,把相关demo代码放到https://github.com/Danielyan86/Python-Study/tree/master/DockerDemo/automation_test/unittest_demo 这个路径下面了,希望对你有帮助。移动端的测试基本思路是一样的,前提是容器环境有移动端的模拟器。

请教下楼主git 里头有没有并行执行脚本的Jenkins sh

陈请请 回复

并行执行是通过jenkins的job任务调度实现的。比如建两个job,里面启动命令都是下面这样格式,只需要更新映射到宿主机的端口(5096,4466),避免冲突就可以了。
```docker run --rm -p *5906:25900 -p *4466:24444 -v "$(pwd)":/home/seluser/automation/myScript --name automation-container-robot -d automation-test-robot
然后两个job或者多个job可以根据你的需要定时跑就行了,因为运行环境都是在容器,互相之间并不影响,从而达到并行的效果。这样说能理解么?

请问下并行怎么解决测试数据问题呢?比如case1和case2都用到同一测试数据或者相互影响了测试数据,怎样保证case并行时每次都通过

目前除了浏览器可以用docker,安卓手机也可以,github上也有相应的代码,docker出安卓模拟器

TavisD 回复

这个测试场景里面每个容器运行相对独立的,你可以理解成一个容器就是一个虚拟机,互相之前不会有影响的。如果用到同一个测试数据不会有影响,比如case1在容器1里面运行,case2在容器2里面运行。互相影响测试数据不知道是什么场景,可以举个详细例子么?

阿东 回复

你的一个容器里包含了整个被测系统,包括数据库这一块?还是说多个容器公用一套被测系统

阿东 #10 · November 29, 2018 作者
TavisD 回复

这个例子是个web UI自动化的例子,所以一个容器可以理解成一整套UI测试环境。被测试bing网站通过web打开,多个容器可以共用一台宿主主机,每个容器测试过程,测试结果,测试环境环境是独立的。从而实现一台服务器并行运行多个UI自动化效果。如果有共用的测试数据,可以创建一个公用的数据库容器并挂载到本地磁盘,或者把测试数据放在git仓库,通过git pull获取最新测试数据。具体看你的项目需求和测试数据存放格式,是用数据库,还是csv文本。

simple 将本帖设为了精华贴 14 Dec 10:37

加精理由:感谢作者详细的介绍,以及在问答区耐心的答复问题,社区非常鼓励这种分享精神,继续加油哦!

顺便贴一下早期的一篇相似的文章 https://testerhome.com/topics/8517

ivy520 [Topic was deleted] 中提及了此贴 16 Dec 22:55
ivy520 定向班第一期_shell 课程实战_20181216 中提及了此贴 16 Dec 23:53
liyinglong 定向班第一期_shell 课程实战_20181216 中提及了此贴 17 Dec 21:53
阿东 #17 · December 19, 2018 作者
simple 回复

谢谢鼓励,继续加油💪

嗯,我也是看了那篇文章受了些启发

测试报告怎么收集?

安涛 定向班第一期_shell 课程实战_20181216 中提及了此贴 21 Dec 16:29
阿东 #21 · December 26, 2018 作者

因为挂载了本地磁盘,所以测试报告在本地磁盘可以找到,也可以执行完之后通过脚本复制日志到一个指定的数据库容器

需要 Sign In 后方可回复, 如果你还没有账号请点击这里 Sign Up