Macaca Macaca Android 和 iOS 并行测试
前言
从 appium 迁移到了 macaca，研究了一下多机并行跑 case，总结一下，和大家一起讨论一下~~~
1. 获取连接到电脑上的机器
- Android ：利用 adb devices 获取连接上的所有安卓设备。
-
iOS：利用 instruments -s devices 获取连接上的所有 iOS 设备
class InitDevice: """ 获取连接的设备的信息 """ def __init__(self): self.GET_ANDROID = "adb devices" self.GET_IOS = "instruments -s devices" def get_device(self): value = os.popen(self.GET_ANDROID) device = [] for v in value.readlines(): android = {} s_value = str(v).replace("\n", "").replace("\t", "") if s_value.rfind('device') != -1 and (not s_value.startswith("List")) and s_value != "": android['platformName'] = 'Android' android['udid'] = s_value[:s_value.find('device')].strip() android['package'] = 'xxxx' android['activity'] = 'xxxxxx' device.append(android) value = os.popen(self.GET_IOS) for v in value.readlines(): iOS = {} s_value = str(v).replace("\n", "").replace("\t", "").replace(" ", "") if v.rfind('Simulator') != -1: continue if v.rfind("(") == -1: continue iOS['platformName'] = 'iOS' iOS['platformVersion'] = re.compile(r'\((.*)\)').findall(s_value)[0] iOS['deviceName'] = re.compile(r'(.*)\(').findall(s_value)[0] iOS['udid'] = re.compile(r'\[(.*?)\]').findall(s_value)[0] iOS['bundleId'] = 'xxxx' device.append(iOS) return device2. 动态获取 3456 端口后的空闲端口，获取的端口数根据上个方法中获取的设备数
判断端口号是否被占用是去执行 netstat -an | grep port这条命令判断端口号是否被占用
def is_using(port):
"""
判断端口号是否被占用
:param port:
:return:
"""
cmd = "netstat -an | grep %s" % port
if os.popen(cmd).readlines():
return True
else:
return False
def get_port(count):
"""
获得3456端口后一系列free port
:param count:
:return:
"""
port = 3456
port_list = []
while True:
if len(port_list) == count:
break
if not is_using(port) and (port not in port_list):
port_list.append(port)
else:
port += 1
return port_list
3. 开启 macaca 服务，为每一个 service 动态分布一个端口
- start_server: 开启一个进程池，每一个 device 对应一个 macaca server
- run_server：运行 macaca server
- is_running：判断 server 是否有开启成功，判断的方法为：去访问每个 server 对应的http://127.0.0.1:port/wd/hub/status地址，看看返回的状态码是不是以 2 开头。
- run_test：运行脚本
class macacaServer():
def __init__(self, devices):
self.devices = devices
self.count = len(devices)
self.url = 'http://127.0.0.1:%s/wd/hub/status'
def start_server(self):
pool = Pool(processes=self.count)
port_list = get_port(self.count)
for i in range(self.count):
pool.apply_async(self.run_server, args=(self.devices[i], port_list[i]))
pool.close()
pool.join()
def run_server(self, device, port):
r = RunServer(port)
r.start()
while not self.is_running(port):
sleep(1)
server_url = {
'hostname': "ununtrium.local",
'port': port,
}
driver = WebDriver(device, server_url)
driver.init()
DRIVER.set_driver(driver)
DRIVER.set_OS(device.get("platformName"))
self.run_test()
def run_test(self):
"""运行测试
"""
all_test = AllTests()
all_test.run_case()
def is_running(self, port):
"""Determine whether server is running
:return:True or False
"""
url = self.url % port
response = None
try:
response = requests.get(url, timeout=0.01)
if str(response.status_code).startswith('2'):
# data = json.loads((response.content).decode("utf-8"))
# if data.get("staus") == 0:
return True
return False
except requests.exceptions.ConnectionError:
return False
except ReadTimeout:
return False
finally:
if response:
response.close()
class RunServer(threading.Thread):
def __init__(self, port):
threading.Thread.__init__(self)
self.cmd = 'macaca server -p %s --verbose' % port
def run(self):
os.system(self.cmd)
最后
本来想放个视频看看效果的，但是发现不会搞~~~ 我还是早点睡觉吧。。。。
>> proxy.js:62:22 [master] pid:2740 xctest client proxy error with: Error: socket hang up
>> proxy.js:62:22 [master] pid:2740 xctest client proxy error with: Error: socket hang up
>> proxy.js:62:22 [master] pid:2740 xctest client proxy error with: Error: socket hang up
>> proxy.js:62:22 [master] pid:2740 xctest client proxy error with: Error: socket hang up
>> proxy.js:62:22 [master] pid:2740 xctest client proxy error with: Error: socket hang up
>> proxy.js:62:22 [master] pid:2740 xctest client proxy error with: Error: socket hang up
>> proxy.js:62:22 [master] pid:2740 xctest client proxy error with: Error: socket hang up
>> proxy.js:62:22 [master] pid:2740 xctest client proxy error with: Error: socket hang up
>> xctest-client.js:257:14 [master] pid:2740 Fail to start xctest: Error: socket hang up
>> xctest-client.js:265:14 [master] pid:2740 killing deviceLogProc pid: 3163
>> xctest-client.js:270:14 [master] pid:2740 killing runnerProc pid: 3166
>> xctest-client.js:276:14 [master] pid:2740 killing iproxyProc pid: 3165
>> responseHandler.js:54:12 [master] pid:2740 Send Error Respone to Client: Error: socket hang up
我的不会重连，然后报错，有解决方案么？
>> xctest-client.js:171:14 [master] pid:2654 please check project: /usr/local/lib/node_modules/macaca-ios/node_modules/webdriveragent/WebDriverAgent/WebDriverAgent.xcodeproj
>> proxy.js:56:14 [master] pid:2654 Proxy: /session:POST to http://127.0.0.1:8900/session:POST with body: {"desiredCapabilities":{"bundleId":"","platformVersion":"9.1","platformName":"iOS"}}
>> proxy.js:62:22 [master] pid:2654 xctest client proxy error with: Error: socket hang up
>> proxy.js:62:22 [master] pid:2654 xctest client proxy error with: Error: socket hang up
>> xctest-client.js:170:14 [master] pid:2654 writeDictToFile:1278 ==== Successfully wrote Manifest cache to /var/folders/0q/d31vt2395c3gd028gzysbx3r0000gp/C/com.apple.DeveloperTools/All/Xcode/EmbeddedAppDeltas/3c13836573226534d387cb31a1801fd8/aa7cee10b392d3661bd40d4e46778e89e35a6511/ManifestCache.plist
>> xctest-client.js:171:14 [master] pid:2654 please check project: /usr/local/lib/node_modules/macaca-ios/node_modules/webdriveragent/WebDriverAgent/WebDriverAgent.xcodeproj
>> proxy.js:62:22 [master] pid:2654 xctest client proxy error with: Error: socket hang up
>> proxy.js:62:22 [master] pid:2654 xctest client proxy error with: Error: socket hang up
>> proxy.js:84:20 [master] pid:2654 Got response with status 200: {"value":{"sessionId":"87BB2534-5D9B-433F-B6BE-3CC2B74F5E4F","capabilities":{"device":"iphone","browserName":"Mobi","sdkVersion":"9.1","CFBundleIdentifier":"com.btcc.mobiEntStaging"}},"sessionId":n...
>> responseHandler.js:47:14 [master] pid:2654 Send HTTP Respone to Client: {"sessionId":"38401d3f-62a8-4c4e-af07-8d930d8bf65d","status":0,"value":"{\"bundleId\":\"com.btcc.mobiEntStaging\",\"platformVersion\":\"9.1\",\"deviceName\":\"BTCCiPodtouch\",\"platformName\":\"iOS\",\"udid\":\"aa7cee10b392d3661bd40d4e46778e89e35a6511\"}"}
>> responseHandler.js:11:12 [master] pid:2654 Recieve HTTP Request from Client: method: POST url: /wd/hub/session/38401d3f-62a8-4c4e-af07-8d930d8bf65d/element, jsonBody: {"using":"name","value":"me"}
#!/usr/bin/python
# -*- coding: UTF-8 -*-
from macaca import WebDriver
import time
from parameters.conf_server import *
import threading
import requests
from multiprocessing.pool import Pool
from middleware.all_case import *
from parameters.run import *
from parameters.configure import *
from parameters.conf_driver import *
from parameters.conf_client import *
# class macacaServer():
# def __init__(self, devices):
#
# self.devices = devices
# self.count = len(devices)
# self.url = 'http://127.0.0.1:%s/wd/hub/status'
def start_server(devices):
# 进程池
count = len(devices)
pool = Pool(processes=count)
port_list = get_port(count)
for i in range(count):
pool.apply_async(run_server, args=(devices[i], port_list[i]))
time.sleep(3)
#self.run_server(self.devices[i],port_list[i])
pool.close()
pool.join()
def run_server(device, port):
r = RunServer(port)
r.start()
while not is_running(port):
time.sleep(1)
server_url = {
'hostname': server_ip,
'port': port,
}
driver = WebDriver(device, server_url)
driver.init()
DRIVER.set_driver(driver)
DRIVER.set_OS(device.get("platformName"))
run_test(driver)
def run_test(driver):
"""
运行测试
"""
test_run(driver,login_pages)
def is_running(port):
"""Determine whether server is running
:return:True or False
"""
url = 'http://127.0.0.1:%s/wd/hub/status'
url1 = url % port
response = None
try:
response = requests.get(url1, timeout=0.01)
if str(response.status_code).startswith('2'):
return True
return False
except requests.exceptions.ConnectionError:
return False
except requests.exceptions.ReadTimeout:
return False
finally:
if response:
response.close()
class RunServer(threading.Thread):
def __init__(self, port):
threading.Thread.__init__(self)
self.cmd = 'macaca server -p %s --verbose' % port
def run(self):
os.system(self.cmd)
if __name__ == "__main__":
b = InitDevice()
start_server(b.get_device())
#80 楼 @tongshanshanshan 不加入并行执行的代码，只用我写的简单的 Demo 两个手机分别执行没有问题。但是用并行执行的代码，只能一个手机能够启动应用程序。是这样的
@tongshanshanshan github 分享一下啊
#71 楼 @tongshanshanshan 单个手机运行时,同样的代码不同的手机,但是其他测试机在我的项目里运行启动不起来,我的手机怎么启动都可以,什么原因呢. 不加入你的并发执行的代码,两个手机单独还能正常执行
#71 楼 @tongshanshanshan 楼主,两部手机只有一个能启动起来
关于 macaca 的并发测试https://testerhome.com/topics/7499
我这边也出现了和上边你们讨论的和 Appium 一模一样的问题。不知道为什么？ @Tank007
楼主,我的执行以后发现会先执行给 element.py 二次封装事件中的 driver= DRIVER.driver 先赋值 None,后续不再赋值了,导致调用 driver.element('','') 时报错,能把你的框架思路简单说下嘛,如何在其他文件里面正常调用 driver
打完断点,都没有经过 run_server 方法,就结束了,也没有报错
楼主,按照你的这种代码,我运行了一个 demo,调用 start_server 会先执行 case,再搜索手机,端口信息
except requests.exceptions.ReadTimeout:
return False
#63 楼 @tongshanshanshan 导入我的 import ReadTimeout ,会提示 ReadTimeout 不存在,是需要导入到 pycharm 什么文件呢
操作事件我都封装到 element 里面了,如果里面想用 driver 是不是 driver = DVIVER.driver 就可以了
except ReadTimeout 这个是需要导入,还是自己创建一个 py 文件
pool = Pool(processes=self.count)
这里的 Pool 是什么?
#28 楼 @tongshanshanshan 楼主的文章很好，就是对于小白来说很多看不懂，可以教教我怎么快速上手进行真机测试吗？非常想学，可是没头绪，谢谢楼主。
@tongshanshanshan 请问楼主 ，你有试过在 多台 iOS 真机设备上并发执行测试用例过吗？是否了解 Macaca 有一个最大的并发数？我自己现在在 两台 iOS 真机设备上并行测试没什么问题，但是一旦添加一台设备以后，也就是 3 台设备同时测试的时候，总会出现一些莫名其妙的问题，而且也总是 有一台设备无法正常启动测试用例，而且还会 一直报 xctest client proxy error with: Error: socket hang up 这样的错误 ,请问楼主有碰到过这样的问题吗？
#55 楼 @tongshanshanshan
请问是不是也支持一台 mac 同时连接多台 iOS 啊？据说 appium 不支持一台 mac 连接多台 iOS 设备测试
感谢
这是一台 iOS 和一台 Android 同时测试，还是支持多台 iOS 同时测试啊？
#42 楼 @Tank007 我刚刚运行了一下，发现用的是 2 个不同的端口。
>> xctest-client.js:56:14 [master] pid:10556 project path: /usr/local/lib/node_modules/macaca-ios/node_modules/webdriveragent/WebDriverAgent/WebDriverAgent.xcodeproj
>> xctest-client.js:56:14 [master] pid:10555 project path: /usr/local/lib/node_modules/macaca-ios/node_modules/webdriveragent/WebDriverAgent/WebDriverAgent.xcodeproj
>> macaca-ios.js:147:10 [master] pid:10556 {
"bundleId": "com.btcc.mobiEntStaging",
"platformVersion": "9.3.5",
"platformName": "iOS"
}
>> macaca-ios.js:147:10 [master] pid:10555 {
"bundleId": "com.btcc.mobiEntStaging",
"platformVersion": "10.0.1",
"platformName": "iOS"
}
>> macaca-ios.js:151:12 [master] pid:10556 Trying to start wda server...
>> macaca-ios.js:151:12 [master] pid:10555 Trying to start wda server...
(node:10556) DeprecationWarning: Calling an asynchronous function without callback is deprecated.
(node:10555) DeprecationWarning: Calling an asynchronous function without callback is deprecated.
(node:10555) DeprecationWarning: Calling an asynchronous function without callback is deprecated.
(node:10556) DeprecationWarning: Calling an asynchronous function without callback is deprecated.
BundleId com.apple.test.WebDriverAgentRunner-Runner does not exist.
>> xctest-client start with port: 8900
>> xctest-client.js:233:14 [master] pid:10556 xcode version: 8.2
>> WebDriverAgent version: 1.0.38
>> xctest-client start with port: 8901
>> xctest-client.js:233:14 [master] pid:10555 xcode version: 8.2
>> WebDriverAgent version: 1.0.38
没有，我只要设置 macaca server 运行的端口就行了。
#36 楼 @Tank007 这边啊
[debug] [JSONWP Proxy] Proxying [POST /session] to [POST http://localhost:8100/session] with b 为啥是都是 8100 端口，你这里不是设置的端口号是 4724 么？
driver = WebDriver(device, server_url)
driver.init()
这个方法不是我实现的，是 macaca 自己封装好，用来初始化 driver 的。
pool.apply_async(self.run, (self.devices[i], pool_list[i])) 并行执行不了，一运行就结束了
这个是因为在在执行 self.run 这个方法的过程中报错了，所以提前结束。但是并没有把报错信息给打印出来。你可以添加以下代码，就可以看见报错信息了。
result = []
result.append(pool.apply_async(self.run_server, args=(self.devices[i], port_list[i]))
for res in result:
print(res.get())
至于最后一个 [ ERROR ] Message: Session does not exist：
你确定所有服务都起来之后才运行用例的么？
- apply_async 运行时根本没有调用 run_server 方法 没有报错么？如果是直接结束了 ，可以定义一个 result，将报错信息打印出来
result = []
result.append(pool.apply_async(self.run_server, args=(self.devices[i], port_list[i]))
for res in result:
print(res.get())
- macaca server -p %s --verbose 是否需要守护进程去调用，服务会一直保持启动，apply_async 不会回到主进程 会一直保持启动。会回到主进程
pool.apply_async(self.run_server, args=(self.devices[i], port_list[i])
和
class RunServer(threading.Thread):
def __init__(self, port):
threading.Thread.__init__(self)
self.cmd = 'macaca server -p %s --verbose' % port
def run(self):
os.system(self.cmd)
这两段启动 macaca server port 的代码，我运行没有成功，apply_async 运行时根本没有调用 run_server 方法。还有 macaca server -p %s --verbose 是否需要守护进程去调用，服务会一直保持启动，apply_async 不会回到主进程？
#21 楼 @tongshanshanshan 看来自动化测试服务器 还是要一步到位弄个 mac 机 这样既可以连 ios 机又可以连 android 机....
是的，这可以的。但是我的电脑是 mac。
#18 楼 @tongshanshanshan 就是跑用例的自动化测试服务环境，我们目前就是一台电脑 ubuntu16.04，部署了 macaca-cli 和 macaca-android 还有就是 android-sdk 执行环境，只能跑安卓 app 的用例。要是跑 ios app 的话那不是得 mac 系统环境吗？你这套脚本可以同时一个环境下去检测连接到这个环境的 ios 和 android？同时在这个环境下去并行安卓和苹果 app 用例？
楼主可以给个 windows，安卓版本用的软件么？Node.js 和需要 Node.js 安装的东西
@tongshanshanshan 你好,咨询下,有点没看懂你这么做的含义.意思是 你这套 py 脚本 是跑在一个 "测试执行服务环境" 的吗?
那么 这个"测试执行服务环境" 是一个什么平台下的环境 是支持 android APP 测试的 环境 还是支持 ios APP 测试的环境?
这个测试执行服务环境 不可能既是 android 又是 ios 的吧?
还是 你这个脚本 是去两套测试执行环境下去分别驱动 andriod 和 ios 的 否则 怎么叫 Android 和 iOS 并行测试.
这个并行 是在一套测试环境下的 还是 分别两套安卓和苹果环境下的?
#15 楼 @tongshanshanshan 我现在的做法是，直接在 Element 这里取 driver，其他地方不再取了，不过还没驱动起来，
，既然确定了设计思路没问题，那就再试试，多谢楼主，我再调试一下，实在不行，再跟你请教
#8 楼 @seveniruby 已更新
请更新微信或者微信二维码. testerhomer 要打赏
#6 楼 @AllocAndInit 启动的时候有没有指定端口，测试运行的时候有没有指定相应的端口？你这样问我只能猜，能不能上脚本和相关 log？
我想在真机上进行 iOS 的并行测试，然后我启动了两个终端窗口，分别去执行相应的测试用例，为什么会出现两个测试用例的运行日志只在一个终端窗口输出？并且当其中一个测试用例执行完毕以后，另外一个测试用例如果即使只执行到一半，马上也会跟着一起被终止？请问这是什么情况了？
mark,这个确实可以，干货
这个厉害~有点意思，哈哈
又有新的东西可以学习了，赞
