Docker docker + selenium + jenkins 并行跑自动化测试

阿东 · 2018年10月25日 · 最后由 xiaoqi_11 回复于 2021年01月16日 · 5716 次阅读
本帖已被设为精华帖!

背景

目标:使用 docker 做 UI 自动化测试并在 Jenkins 运行

调试环境:MocOS

运行环境:Linux ubuntu + docker

涉及工具:docker,selenium,unittest, jenkins

基本思路

找一个适合做自动化的 docker 镜像,使用 selenium-grid 远程执行 selenium。镜像采用 elgalu/selenium,已经集成了 UI,chrome/firefox 等浏览器,包括 webdriver 驱动,十分方便。

镜像仓库地址:

https://github.com/elgalu/docker-selenium

接下来开工:

1. 在 elgalu/selenium 基础上简单编译

为了方便,脚本代码运行也设置在镜像里面。因此定制了我们自己的镜像文件:

FROM elgalu/selenium
RUN sudo apt-get update -y \
&& sudo pip install selenium \
&& mkdir /home/seluser/automation/myScript
ADD . /home/seluser/automation/myScript 
WORKDIR /home/seluser/automation/myScript  #定义工作目录

2. 用 Python+selenium 编写测试用例

if REMOTE:  # 定义一个开关变量方便本地和远程调试切换
    selenium_grid_url = "http://guest.docker:24444/wd/hub"
    capabilities = webdriver.DesiredCapabilities.CHROME.copy()
    d = webdriver.Remote(command_executor=selenium_grid_url, desired_capabilities=capabilities) #通过selenium启动docker里面chrome 
else:
    d = webdriver.Chrome()  #通过selenium启动本地chrome
    ##具体的UI测试代码

此处是启动 selenium 或者或者 selenium -grid 部分主要代码,不能直接运行。如果需要调用远程的 selenium_grid 需要 URL 加端口号的形势http://guest.docker:24444/wd/hub,guest.docker 是 docker 内网分配的 IP,因为在 docker 里面的 host 文件没有发现容器名和 IP 的映射,因此从 docker 里面 hosts 文件选用 guest.docker 这个名字,等发现更好解决方案后再更新。

3. 执行和调试

本地调试不再多说,主要说一下怎么在 docker 调试和运行。先启动容器:

执行命令 :

docker* run --rm -p 5904:25900 -p 4444:24444 -v "$(pwd)":/home/seluser/automation/myScript --name automation-container automation-test:latest

启动成功之后可以通过 vnc 工具查看容器的 UI 界面

简单说明一下参数,5904 是 VNC 需要用到的端口,可以通过本地 VNC(127.0.0.1:5904)工具查看 case 运行效果。4444 是 selenium grid 的映射端口。-v 是把本地磁盘挂载到容器,方便代码调试, 因为采用 $(pwd),表示当前路径,所以执行 docker 启动命令时候应该在自动化脚本所在位置。

现在本地调试 case,注意这个时候 selenium_grid_url 值应该是http://localhost:4444/wd/hub

最后在容器里面执行 case,可以通过 docker exec 名执行, 比如docker exec -it container_name python /home/seluser/automation/myScript/example.py 确认没有没有问题后可以上 Jenkins 测试

需要注意的是如果 case 运行失败 selenium grid 是不会自动退出的,此处借助 Python unit test 的 teardown 方法结束 selenium 进程,比如:

def tearDown(self):
       print("start to teardown")
       time.sleep(10)
       self.d.close()
       self.d.quit()

运行脚本,可以再 VNC 看到运行效果:

4. 在 Jenkins 运行

跟本地容器执行步骤一直,同样的可以通过 VNC 监测执行过程。此处启动容器和关闭容器单独做成了两个 job,方便处理环境问题。

Jenkins 上面执行 docker exec -it 时候碰到一个"The input device is not a TTY"错误。减少一个 T 参数可以解决。问题参考:

https://stackoverflow.com/questions/43099116/error-the-input-device-is-not-a-tty

jenkins 并行运行多个容器

因为我们是通过容器化的方式启动的 UI 测试环境,同一个宿主机是可以启动多个容器的。假设我们的 UI 测试用例比较多的时候,我们可以同时运行多个容器来减少 UI case 的运行时间,配置方式比 jenkins 的分布式运行又更方便,怎么实现呢?启动多个容器我们只需要改变容器名字和映射的端口号即可,比如把前面启动容器命令简单更新一下

docker run --rm -p 5906:25900 -p 4466:24444 -v "$(pwd)":/home/seluser/automation/myScript --name automation-container-robot -d automation-test-robot

此处我们只更新了端口(5906,4466)和容器名字,就能启动多个 UI 环境并行运行 case,是不是很爽哦?

执行完之后需要强制关闭容器,防止异常退出情况。启动容器和关闭容器单独做成了两个 job,方便处理环境问题。

到此处基本大功告成。此项目还有很多不足地方,欢迎大家讨论。

demo 相关完整例子:
https://github.com/Danielyan86/Python-Study/tree/master/DockerDemo/automation_test/unittest_demo

共收到 21 条回复 时间 点赞

2,针对 safari 浏览器,有好的建议吗?

感谢楼主的分享,有几个点希望能咨询:
1,看起来是每一个容器都是一个 hub? 每个容器里面是跑在一个浏览器,还是多个浏览器呢? 如果是 1 个,是不是不需要 grid

阿东 #27 · 2020年04月13日 Author
测试菜鸟 回复

具体看你用的阿里云的什么服务,这个你可以直接去问阿里云的售后。

阿东 #26 · 2020年04月13日 Author
热狗gg 回复

用别的框架,基础镜像就要变,把你需要的框架做到基础镜像里面。

阿东 #25 · 2020年04月13日 Author

是的,500 个容器并行跑,宿主机压力确实比较大,并且这个容器带了 UI 的,也比较耗资源。

不是 selenium 是用 appium 或者 poco 等其他框架写的也可以使用吗

不知道为什么通过服务器外网 ip+ 端口无法访问控制台,使用 vnc 同样无法连接阿里服务器上的容器镜像内部,安全组已开,防火墙以关,请问楼主有遇到过吗

假如有 500 条 case 要并行跑,是不是同时启动 500 个容器,都跑在宿主机上,这个宿主机压力是不是太大了

阿东 #21 · 2018年12月26日 Author

因为挂载了本地磁盘,所以测试报告在本地磁盘可以找到,也可以执行完之后通过脚本复制日志到一个指定的数据库容器

安涛 [该话题已被删除] 中提及了此贴 12月21日 16:29
芳菲菲兮满堂 [该话题已被删除] 中提及了此贴 12月20日 09:24

测试报告怎么收集?

阿东 #17 · 2018年12月19日 Author
simple 回复

谢谢鼓励,继续加油💪

嗯,我也是看了那篇文章受了些启发

liyinglong [该话题已被删除] 中提及了此贴 12月17日 21:53
ivy520 [该话题已被删除] 中提及了此贴 12月16日 23:53
ivy520 [该话题已被删除] 中提及了此贴 12月16日 22:55

加精理由:感谢作者详细的介绍,以及在问答区耐心的答复问题,社区非常鼓励这种分享精神,继续加油哦!

顺便贴一下早期的一篇相似的文章 https://testerhome.com/topics/8517

simple 将本帖设为了精华贴 12月14日 10:37
阿东 docker + robotframework + selenium grid 做自动化测试 中提及了此贴 12月04日 15:12
阿东 #10 · 2018年11月29日 Author
TavisD 回复

这个例子是个 web UI 自动化的例子,所以一个容器可以理解成一整套 UI 测试环境。被测试 bing 网站通过 web 打开,多个容器可以共用一台宿主主机,每个容器测试过程,测试结果,测试环境环境是独立的。从而实现一台服务器并行运行多个 UI 自动化效果。如果有共用的测试数据,可以创建一个公用的数据库容器并挂载到本地磁盘,或者把测试数据放在 git 仓库,通过 git pull 获取最新测试数据。具体看你的项目需求和测试数据存放格式,是用数据库,还是 csv 文本。

阿东 回复

你的一个容器里包含了整个被测系统,包括数据库这一块?还是说多个容器公用一套被测系统

TavisD 回复

这个测试场景里面每个容器运行相对独立的,你可以理解成一个容器就是一个虚拟机,互相之前不会有影响的。如果用到同一个测试数据不会有影响,比如 case1 在容器 1 里面运行,case2 在容器 2 里面运行。互相影响测试数据不知道是什么场景,可以举个详细例子么?

目前除了浏览器可以用 docker,安卓手机也可以,github 上也有相应的代码,docker 出安卓模拟器

请问下并行怎么解决测试数据问题呢?比如 case1 和 case2 都用到同一测试数据或者相互影响了测试数据,怎样保证 case 并行时每次都通过

陈请请 回复

并行执行是通过 jenkins 的 job 任务调度实现的。比如建两个 job,里面启动命令都是下面这样格式,只需要更新映射到宿主机的端口(5096,4466),避免冲突就可以了。
```docker run --rm -p *5906:25900 -p *4466:24444 -v "$(pwd)":/home/seluser/automation/myScript --name automation-container-robot -d automation-test-robot
然后两个 job 或者多个 job 可以根据你的需要定时跑就行了,因为运行环境都是在容器,互相之间并不影响,从而达到并行的效果。这样说能理解么?

请教下楼主 git 里头有没有并行执行脚本的 Jenkins sh

pan 回复

谢谢鼓励,把相关 demo 代码放到https://github.com/Danielyan86/Python-Study/tree/master/DockerDemo/automation_test/unittest_demo 这个路径下面了,希望对你有帮助。移动端的测试基本思路是一样的,前提是容器环境有移动端的模拟器。

昨天产品给我们推了一个需求就是把 UI 脚本放到 Jenkins+docker 上面跑,一直还没思路怎么实现,突然逛到了你的文章,感谢楼主引路;那现在有个问题不是很明白:楼主你的文章讲了 selenium 的,那移动端的实现也是不是一样的思路呢?最后期待楼主的 demo👏 👏 👏

需要 登录 后方可回复, 如果你还没有账号请点击这里 注册