其他测试框架 STF 开发环境搭建与制作 docker 镜像过程

blueshark · 发布于 2016年06月19日 · 最后由 heyt 回复于 2017年07月03日 · 5233 次阅读
本帖已被设为精华帖!

一、前言

看到很多同学在研究STF,大部分人只是讲了怎么安装,然后运行一个stf local命令可以开始使用了,但是在实际使用中,比如大公司中肯定不能使用stf local方式给大家演示一下吧,哈哈~~~

另外也不能使用mock方式让任何人都能随意的登录。如果你想自己定制一些东西,需要自己对源码进行一些修改,说实话,想随意修改stf源码还真不是一件特别简单的事。下面根据我自己的一些经验介绍一个生产环境中stf平台的搭建及一些开发注意事项,希望想了解的同学不要踩这些坑。
参考前辈的一些文章,特别是monkey的“STF 改造之 first blood”,给了我很大帮助,多谢他们!

(1)STF 改造之 first blood

(2)MAC 下 STF 的环境搭建和运行

(3)WEB 端批量移动设备管理控制工具 STF 的环境搭建和运行

二、生产环境中STF平台的搭建

这里是官方的搭建文档:
Deployment

官方推荐使用docker容器来搭建,根据我的使用经验,docker容器确实更方便一些,关于docker的知识就不作介绍了,详情可以自行搜索,或者参考docker官方网站。

使用docker搭建STF平台需要pull下来五个镜像,这里假设你已经安装过了docker容器,为了加快pull速度,可以参考下面的文章,换成国内的docker镜像

Docker学习笔记 — 配置国内免费registry mirror

确定安装好docker以后,pull下面几个镜像:

docker pull openstf/stf:latest
docker pull sorccu/adb:latest
docker pull rethinkdb:latest
docker pull openstf/ambassador:latest
docker pull nginx:latest

拉下来这几个镜像以后,stf就可以直接在容器中运行了,也就是说你宿主机上完全不用再装stf的相关工具,甚至adb也不用。

很多文章介绍的装stf要先装一堆工具,然后使用npm install -g stf安装到系统中,大部分人会发现,由于网络或者其他原因,npm install -g stf方式也不太容易成功,其实在docker里也可以直接运行stf local,并且更加简单,使用以下三条命令即可:

#先启动一个数据库
docker run -d --name rethinkdb -v /srv/rethinkdb:/data --net host rethinkdb rethinkdb --bind all --cache-size 8192 --http-port 8090
#再启动adb service
docker run -d --name adbd --privileged -v /dev/bus/usb:/dev/bus/usb --net host sorccu/adb:latest
#再启动stf
docker run -d --name stf --net host openstf/stf stf local --public-ip your-ip

这样就可以直接从7100端口也访问了,下面介绍正宗的安装方式,先介绍下几个组件:

  • openstf/stf就是stf主镜像了。

  • sorccu/adb是adb工具,adb工具是和provider模块在一台机器上的,这个后面会再说。

  • rethinkdb就是数据库了,不知道开发者为什么想用这个数据库,而不用常用的mysql之类的,反正感觉这个数据库挺另类的,和mysql的查询语法完全不一样。 这里注意,官方文档上要pull rethinkdb:2.1.1,但是现在版本的stf好像不支持rethinkdb:2.1.1,经测试,最新版本的rethinkdb也是没问题的,所以就用最新的了。

  • openstf/ambassador这个网络代理工具,是连接docker内部网络的一个工具,估计作者是基于ambassador官方镜像进行修改的,ambassador可以让不同dokcer之前以私有网络的方式进行连接,可以理解为虚拟网络,如果你把所有的端口暴露在外面,这个东西也可以不要。

  • nginx,这是一个web服务器反向代理工具,详细的就不介绍了,反正stf依赖它将不同的url转发到不同模块上,反正没有nginx,生产环境中的stf是肯定不能正常工作的。

好了,docker镜像讲完了,下面就是搭建过程了,为了简单,所有的模块搭建在一台机器上,如果要搭建在不同机器,修改nginx里的反向代理server就行了。其实搭建就是启动几个docker容器,设置一些端口的事情。stf作者希望用systemd来启动这些容器,在官方部署文档上可以看到类似下面的代码

[Unit]
Description=ADB daemon
After=docker.service
Requires=docker.service

[Service]
TimeoutStartSec=0
Restart=always
ExecStartPre=/usr/bin/docker pull sorccu/adb:latest
ExecStartPre=-/usr/bin/docker kill %p
ExecStartPre=-/usr/bin/docker rm %p
ExecStart=/usr/bin/docker run --rm \
  --name %p \
  --privileged \
  -v /dev/bus/usb:/dev/bus/usb \
  --net host \
  sorccu/adb:latest
ExecStop=-/usr/bin/docker stop -t 2 %p

刚开始我纠结了几天,不知道这是个什么东西,其实它就是一个启动工具,跟手动执行shell命令是一样样的,只不过可以开机启动,或者在失败以后可以自动重启。在使用sysyted启动的系统中,systemd所有可用的单元文件存放在 /usr/lib/systemd/system/ 和 /etc/systemd/system/ 目录(后者优先级更高),可以去这两个目录看看已经有脚本。

ubuntu 15.04和centos7以后的版本都是使用systemd进行启动的,如果你用的这些系统,可以考虑使用systemd来启动stf容器,确实更方便一些,如果你不要使用systemd,使用shell脚本也是可以的,为了更好理解,下面介绍时会shell脚本来启动。

为了搭建更加顺利,先介绍几个docker命令:

#运行docker镜像,不再多说
docker run 一大堆参数
#查看所有的docker镜像
docker images
#查看所有的docker运行实例
docker ps -a
#停止/杀死/删除/重启 docker实例
docker stop/kill/rm/restart
#查看docker的log
docker logs 实例名或ID

其中docker logs比较重要,docker实例出了什么问题可以查看log。

启动过程:

1、启动nginx

一般来说,nginx肯定要第一个启动的,因为它要转发不同url到不同的模块,启动nginx需要一个nginx.conf 配置文件,官方给的配置文件比较复杂,而且启用了ssl,我想大部分公司都不会在内网用ssl吧,所以就修改了一个简单的版本如下,这里的配置需要你根据情况来修改:

daemon off;
worker_processes 4;

events {
  worker_connections 1024;
}

http {
  upstream stf_app {
    server 192.168.3.16:3100 max_fails=0;
  }

  upstream stf_auth {
    server 192.168.3.16:3200 max_fails=0;
  }

  upstream stf_storage_apk {
    server 192.168.3.16:3300 max_fails=0;
  }

  upstream stf_storage_image {
    server 192.168.3.16:3400 max_fails=0;
  }

  upstream stf_storage {
    server 192.168.3.16:3500 max_fails=0;
  }

  upstream stf_websocket {
    server 192.168.3.16:3600 max_fails=0;
  }

  types {
    application/javascript  js;
    image/gif               gif;
    image/jpeg              jpg;
    text/css                css;
    text/html               html;
  }

  map $http_upgrade $connection_upgrade {
    default  upgrade;
    ''       close;
  }

  server {
    listen 80;
    server_name stf.test;
    keepalive_timeout 70;
    root /dev/null;

    resolver 127.0.0.1 valid=300s;
    resolver_timeout 10s;

    # Handle stf-provider@floor4.service
    location ~ "^/d/floor4/([^/]+)/(?<port>[0-9]{5})/$" {
      proxy_pass http://192.168.3.16:$port/;
      proxy_http_version 1.1;
      proxy_set_header Upgrade $http_upgrade;
      proxy_set_header Connection $connection_upgrade;
      proxy_set_header X-Forwarded-For $remote_addr;
      proxy_set_header X-Real-IP $remote_addr;
    }

    location /auth/ {
      proxy_pass http://stf_auth/auth/;
    }

    location /s/image/ {
      proxy_pass http://stf_storage_image;
    }

    location /s/apk/ {
      proxy_pass http://stf_storage_apk;
    }

    location /s/ {
      client_max_body_size 1024m;
      client_body_buffer_size 128k;
      proxy_pass http://stf_storage;
    }

    location /socket.io/ {
      proxy_pass http://stf_websocket;
      proxy_http_version 1.1;
      proxy_set_header Upgrade $http_upgrade;
      proxy_set_header Connection $connection_upgrade;
      proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
      proxy_set_header X-Real-IP $http_x_real_ip;
    }

    location / {
      proxy_pass http://stf_app;
      proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
      proxy_set_header X-Real-IP $http_x_real_ip;
    }
  }
}

nginx启动命令

docker run -d -v /home/blueshark/stf/nginx/nginx.conf:/etc/nginx/nginx.conf:ro --name nginx --net host nginx nginx

启动nginx以后就可以访问你的网站,看看有没起来,正常起来的现象是报一个nginx的错误,没错,是报一个错误,因为其他服务还没起。

好了,nginx起来了,下面就是db了。

2、启动rethinkdb

数据库当然要比其他模块要早一点儿启动,否则影响连接嘛,rethinkdb启动命令

docker run -d --name rethinkdb -v /srv/rethinkdb:/data --net host rethinkdb rethinkdb --bind all --cache-size 8192 --http-port 8090

启动完去用浏览器访问一下8090端口看看,如果能看到rethinkdb的管理界面就是OK的。

3、给数据库建表

rethinkdb启动以后,要给stf建立相关的表,openstf/stf镜像提供了这个功能,执行下面这条命令即可

docker run -d --name stf-migrate --net host  openstf/stf stf migrate

可以使用docker logs来查看命令的执行状态

docker logs stf-migrate

4、下面要启动一堆storage等,这些模块在stf截图和安装app时会用到


docker run -d --name storage-plugin-apk-3300 -p 3300:3000 --dns 192.168.1.5 openstf/stf stf storage-plugin-apk --port 3000   --storage-url http://stf.test/
docker run -d --name storage-plugin-image-3400  -p 3400:3000 --dns 192.168.1.5 openstf/stf stf storage-plugin-image --port 3000 --storage-url http://stf.test/
docker run -d  --name storage-temp-3500 -v /mnt/storage:/data -p 3500:3000 --dns 192.168.1.5 openstf/stf  stf storage-temp --port 3000  --save-dir /data

这里要注意几点,stf官方docker镜像使用的google dns,但是大部分公司都有自己的内网域名,因此必须换成自己的dns,否则内网域名没法访问。如果你有需要持久保存的数据,最好用-v对docker中的目录进行映射。这里使用-p参数把docker内的端口绑定到主机端口,否则都是3000会冲突。

5、三方代理

说实话,这个东西我也是很懂,感觉是跟总线一样的东西,这个模块的启动顺序不一定放到这里,反正我是按照这个顺序来的,能工作

docker run -d  --name triproxy-app  --net host  openstf/stf  stf triproxy app   --bind-pub "tcp://*:7150"   --bind-dealer "tcp://*:7160"  --bind-pull "tcp://*:7170"
docker run -d --name triproxy-dev  --net host  openstf/stf  stf triproxy dev  --bind-pub "tcp://*:7250"  --bind-dealer "tcp://*:7260" --bind-pull "tcp://*:7270"

6、登录授权

登录授权的重要性不言自明,没人希望自己的手机被别人随意使用,最后也不知道谁用了。

docker run -d --name stf-auth3200 -e "SECRET=YOUR_SESSION_SECRET_HERE" -p 3200:3000 --dns 192.168.1.5 openstf/stf stf auth-mock --port 3000  --app-url http://stf.test/

默认情况下的mock登录随便输入name和email登录,当然可以自己接入自己的授权系统。

7、stf-app

这个就是主web界面了。

docker run -d --name stf-app3100 --net host -e "SECRET=YOUR_SESSION_SECRET_HERE" -p 3100:3000 openstf/stf stf app --port 3100 --auth-url http://stf.test/auth/mock/ --websocket-url http://stf.test/

启动到这里,访问stf.test网站,应该有点儿模样了。

8、stf-processor、websocket、reaper

processor和websocket不知道具体是干什么的,这和消息队列好像有点儿关系,但是reaper是用来不断监控手机的在线状态的。

#stf-processor
docker run -d --name stf-processor --net host openstf/stf  stf processor stf-processor.service --connect-app-dealer tcp://192.168.3.16:7160 --connect-dev-dealer tcp://192.168.3.16:7260

#websocket 3600
docker run -d --name websocket -e "SECRET=YOUR_SESSION_SECRET_HERE" --net host openstf/stf stf websocket --port 3600  --storage-url http://stf.test/ --connect-sub tcp://192.168.3.16:7150 --connect-push tcp://192.168.3.16:7170

#reaper
docker run -d --name reaper --net host openstf/stf stf reaper dev --connect-push tcp://192.168.3.16:7270  --connect-sub tcp://192.168.3.16:7150 --heartbeat-timeout 30000

至此为至,stf主框架已经搭起来了,就等provider给提供手机了。

9、provider

provider的作为就是给主框架提供手机,注意,provider可以运行在同一台机器,也可以运行在其他机器,但是,这台机器一定要可直接访问的,因为手机屏幕其实就是从这里出来的。

在provider机器上一定要先运行adb的docker,毕竟安卓手机要依赖adb调试

#adb services
docker run -d --name adbd --privileged -v /dev/bus/usb:/dev/bus/usb --net host sorccu/adb:latest

下面就可以运行provider了

sudo docker run -d --name provider1 --net host openstf/stf stf provider --name "provider-test" --connect-sub tcp://192.168.3.16:7250  --connect-push tcp://192.168.3.16:7270  --storage-url http://192.168.3.16  --public-ip 192.168.3.16  --min-port=15000  --max-port=25000  --heartbeat-interval 20000 --screen-ws-url-pattern "ws://stf.test/d/floor4/<%= serial %>/<%= publicPort %>/"

到这里,整个基于docker的stf生产环境就搭建好了,只要加上域名和授权控制,就可以邀请别人使用了!

三、STF开发

如果你和我一样,觉得限制使用别人做好的东西很不爽,你肯定想要自己对STF框架进行开发,加入一些特色功能。但是,要想通过源码来把STF跑通,还真没有那么容易,其中大大小小的坑令人防不胜防。

1、 安装nodejs。

stf是用nodejs来编写的,当然要nodejs来运行,如果你用的是ubuntu系统执行下面两条命令就可以安装好了

curl -sL https://deb.nodesource.com/setup_4.x | sudo -E bash -
sudo apt-get install -y nodejs

也可以安装6.x版本的

curl -sL https://deb.nodesource.com/setup_6.x | sudo -E bash -
sudo apt-get install -y nodejs

最好再安装一些编译的工具

sudo apt-get install -y build-essential

如果你用的是其他系统就恕不奉告了,上面都是从nodejs官网上抄的,可以自己去上面瞅瞅。

2、既然从源码来搞它,先拉源码吧,地址 https://github.com/openstf/stf.git
养成好习惯,拉下代码先看看分支,很多项目的master分支不能正常运行。stf仓库有多个分支,其中最重的就是master和2.0.0分支,看了下github,似乎2.0.0已经发布了,1.1.1才发布,不知道怎么回事,不过看到master分支经常更新,就用master分支来搞吧。

3、根据monkey前两天的介绍,先安装所需要的module吧,在stf项目根目录执行

npm install

等待完成,很慢吧?可以换成淘宝的npm镜像,地址 http://npm.taobao.org/ ,首先执行

npm install -g cnpm --registry=https://registry.npm.taobao.org

以后就可以用cnpm代替npm命令了,cnpm用的是淘宝镜像。注意cnpm要求nodejs版本在4.x以上。
下面执行

cnpm install

速度很快,然后就遇到了下面的问题

[stf@1.1.1] scripts.prepublish: "bower install && not-in-install && gulp build || in-install"
bower ESUDO         Cannot be run with sudo

Additional error details:
Since bower is a user command, there is no need to execute it with superuser permissions.
If you're having permission errors when using bower without sudo, please spend a few minutes learning more about how your system should work and make any necessary repairs.

http://www.joyent.com/blog/installing-node-and-npm
https://gist.github.com/isaacs/579814

You can however run a command with sudo using --allow-root option
Error: Run "sh -c bower install && not-in-install && gulp build || in-install" error, exit code 1
Error: Run "sh -c bower install && not-in-install && gulp build || in-install" error, exit code 1
    at ChildProcess.proc.on.code (/usr/lib/node_modules/cnpm/node_modules/runscript/index.js:67:21)
    at emitTwo (events.js:106:13)
    at ChildProcess.emit (events.js:191:7)
    at maybeClose (internal/child_process.js:852:16)
    at Process.ChildProcess._handle.onexit (internal/child_process.js:215:5)

这里提示bower不能用root安装,其实我也不知道bower到底是什么鬼,我喜欢用root账户来搞,这也不是一个好习惯,主要是非root账户问题提醒没有写入权限,百度一下,发现只要加一个 --allow-root就行了,打开项目根目录下 package.json 文件,在bower那一行加上--allow-root就行了,然后再次运行cnpm install
然后bower balabala安装一大堆东西,duang!又报了一个错!

bower ng-context-menu#~1.0.5    ECMDERR Failed to execute "git ls-remote --tags --heads git://github.com/AdiDahan/ng-context-menu.git", exit code of #128 fatal: unable to connect to github.com: github.com[0: 192.30.252.131]: errno=Connection timed out

Additional error details:
fatal: unable to connect to github.com:
github.com[0: 192.30.252.131]: errno=Connection timed out
Error: Run "sh -c bower install --allow-root && not-in-install && gulp build || in-install" error, exit code 1
Error: Run "sh -c bower install --allow-root && not-in-install && gulp build || in-install" error, exit code 1
    at ChildProcess.proc.on.code (/usr/lib/node_modules/cnpm/node_modules/runscript/index.js:67:21)
    at emitTwo (events.js:106:13)
    at ChildProcess.emit (events.js:191:7)
    at maybeClose (internal/child_process.js:852:16)
    at Process.ChildProcess._handle.onexit (internal/child_process.js:215:5)

遇到这种time out问题我一般是多试几次就行了,可是这次怎么试都不奏效了,哎,还是多分析一下错误的原因吧,提示这个命令fail

git ls-remote --tags --heads git://github.com/AdiDahan/ng-context-menu.git

手动执行一下看看,果然是fail,突然灵光一闪,我们都是用https://github.com/https试试?,改成

git ls-remote --tags --heads https://github.com/AdiDahan/ng-context-menu.git

果然可以了,那么在哪里改呢,找了半天没找到,google一下,有人提到git自带把git://替换成https://的功能,简直是雪中送炭啊!

执行一下下面的命令就行了

git config --global url."https://".insteadOf git://

如果你不放心,可以去git的config文件中看一下有没配置成功。再执行一下前面git ls-remote命令,这下子不报错了。

下面继续进行cnpm install命令,又遇到下面的问题

[stf@1.1.1] scripts.prepublish: "bower install --allow-root && not-in-install && gulp build || in-install"
(node:1305) fs: re-evaluating native module sources is not supported. If you are using the graceful-fs module, please update it to a more recent version.
module.js:442
    throw err;
    ^

Error: Cannot find module 'strip-json-comments'
    at Function.Module._resolveFilename (module.js:440:15)
    at Function.Module._load (module.js:388:25)
    at Module.require (module.js:468:17)
    at require (internal/module.js:20:19)
    at Object.<anonymous> (/root/stf-master/node_modules/.npminstall/eslint/2.13.0/eslint/lib/config/config-file.js:23:21)
    at Module._compile (module.js:541:32)
    at Object.Module._extensions..js (module.js:550:10)
    at Module.load (module.js:458:32)
    at tryModuleLoad (module.js:417:12)
    at Function.Module._load (module.js:409:3)
Error: Run "sh -c bower install --allow-root && not-in-install && gulp build || in-install" error, exit code 1
Error: Run "sh -c bower install --allow-root && not-in-install && gulp build || in-install" error, exit code 1
    at ChildProcess.proc.on.code (/usr/lib/node_modules/cnpm/node_modules/runscript/index.js:67:21)
    at emitTwo (events.js:106:13)
    at ChildProcess.emit (events.js:191:7)
    at maybeClose (internal/child_process.js:852:16)
    at Process.ChildProcess._handle.onexit (internal/child_process.js:215:5)

还是先升级graceful-fs吧,然后再安装strip-json-comments,执行

cnpm install graceful-fs
cnpm install strip-json-comments

继续cnpm install,终于执行完了,见到了结尾

chunk    {6} entry/commons.entry.js (entry/commons.entry.js) 0 bytes [rendered]

ERROR in ENOENT: no such file or directory, scandir '/root/stf-master/node_modules/.npminstall/node-sass/3.8.0/node-sass/vendor'
 @ ./res/web_modules/nine-bootstrap/nine-bootstrap.scss 4:14-197
[13:35:01] Finished 'webpack:build' after 16 s
INF/webpack:config 1645 [*] Build progress 100% (complete)
All packages installed (use 25s, speed 0B/s, json 0(0B), tarball 0B)

等等,还是有点错误,删除node_modules/.npminstall/node-sasss目录,重新执行cnpm install

这样就好了,如重复执行cnpm install命令,就不会有错误了。

这时执行stf命令是找不到的,最后来一个cnpm link就行了,然后就可以stf local了

stf local的时候还是有错误:

INF/util:procutil 15 [*] Forking "/app/lib/cli.js poorxy --port 7100 --app-url http://localhost:7105/ --auth-url http://localhost:7120/ --api-url http://localhost:7106/ --websocket-url http://localhost:7110/ --storage-url http://localhost:7102/ --storage-plugin-image-url http://localhost:7103/ --storage-plugin-apk-url http://localhost:7104/"
/app/node_modules/zmq/node_modules/bindings/bindings.js:83
        throw e
        ^

Error: libzmq.so.3: cannot open shared object file: No such file or directory
    at Error (native)
    at Object.Module._extensions..node (module.js:568:18)
    at Module.load (module.js:458:32)
    at tryModuleLoad (module.js:417:12)
    at Function.Module._load (module.js:409:3)
    at Module.require (module.js:468:17)
    at require (internal/module.js:20:19)
    at bindings (/app/node_modules/zmq/node_modules/bindings/bindings.js:76:44)
    at Object.<anonymous> (/app/node_modules/zmq/lib/index.js:6:30)
    at Module._compile (module.js:541:32)
    at Object.Module._extensions..js (module.js:550:10)
    at Module.load (module.js:458:32)
    at tryModuleLoad (module.js:417:12)
    at Function.Module._load (module.js:409:3)
    at Module.require (module.js:468:17)
    at require (internal/module.js:20:19)
FTL/cli:local 15 [*] Child process had an error ExitError: Exit code "1"
    at ChildProcess.<anonymous> (/app/lib/util/procutil.js:49:23)
    at emitTwo (events.js:106:13)
    at ChildProcess.emit (events.js:191:7)
    at Process.ChildProcess._handle.onexit (internal/child_process.js:204:12)
INF/cli:local 15 [*] Shutting down all child processes
/app/node_modules/zmq/node_modules/bindings/bindings.js:83
        throw e
        ^

Error: libzmq.so.3: cannot open shared object file: No such file or directory
    at Error (native)
    at Object.Module._extensions..node (module.js:568:18)
    at Module.load (module.js:458:32)
    at tryModuleLoad (module.js:417:12)
    at Function.Module._load (module.js:409:3)
    at Module.require (module.js:468:17)
    at require (internal/module.js:20:19)
    at bindings (/app/node_modules/zmq/node_modules/bindings/bindings.js:76:44)
    at Object.<anonymous> (/app/node_modules/zmq/lib/index.js:6:30)
    at Module._compile (module.js:541:32)
    at Object.Module._extensions..js (module.js:550:10)
    at Module.load (module.js:458:32)
    at tryModuleLoad (module.js:417:12)
    at Function.Module._load (module.js:409:3)
    at Module.require (module.js:468:17)
    at require (internal/module.js:20:19)

这里提示缺少zmp的一个库文件,如果你有兴趣,可以把zmq装一遍,就没问题,但是我有更简单的方法,去openstf/stf的docker镜像中把libzmq.*这类文件拷到你的系统中就行了,库目录是/usr/lib/x86_64-linux-gnu,下面还有一个类似的错误,同样拷一下库文件就行了,什么?你不知道怎么从docker镜像中很外拷东西?我只能说一句,查查docker -v命令,其他真的不能多说了。

localhost:7106/ --websocket-url http://localhost:7110/ --storage-url http://localhost:7102/ --storage-plugin-image-url http://localhost:7103/ --storage-plugin-apk-url http://localhost:7104/"
/app/node_modules/zmq/node_modules/bindings/bindings.js:83
        throw e
        ^

Error: libpgm-5.1.so.0: cannot open shared object file: No such file or directory
    at Error (native)
    at Object.Module._extensions..node (module.js:568:18)
    at Module.load (module.js:458:32)
    at tryModuleLoad (module.js:417:12)
    at Function.Module._load (module.js:409:3)
    at Module.require (module.js:468:17)
    at require (internal/module.js:20:19)
    at bindings (/app/node_modules/zmq/node_modules/bindings/bindings.js:76:44)
    at Object.<anonymous> (/app/node_modules/zmq/lib/index.js:6:30)
    at Module._compile (module.js:541:32)
    at Object.Module._extensions..js (module.js:550:10)
    at Module.load (module.js:458:32)
    at tryModuleLoad (module.js:417:12)
    at Function.Module._load (module.js:409:3)
    at Module.require (module.js:468:17)
    at require (internal/module.js:20:19)
FTL/cli:local 112 [*] Child process had an error ExitError: Exit code "1"
    at ChildProcess.<anonymous> (/app/lib/util/procutil.js:49:23)
    at emitTwo (events.js:106:13)
    at ChildProcess.emit (events.js:191:7)
    at Process.ChildProcess._handle.onexit (internal/child_process.js:204:12)
INF/cli:local 112 [*] Shutting down all child processes

下面这个错误不一定每个人都会遇到,如果遇到了还真不好解决

INF/util:procutil 209 [*] Forking "/app/lib/cli.js poorxy --port 7100 --app-url http://localhost:7105/ --auth-url http://localhost:7120/ --api-url http://loc                                                   alhost:7106/ --websocket-url http://localhost:7110/ --storage-url http://localhost:7102/ --storage-plugin-image-url http://localhost:7103/ --storage-plugin-a                                                   pk-url http://localhost:7104/"
/app/node_modules/zmq/node_modules/bindings/bindings.js:83
        throw e
        ^

Error: Module version mismatch. Expected 48, got 46.
    at Error (native)
    at Object.Module._extensions..node (module.js:568:18)
    at Module.load (module.js:458:32)
    at tryModuleLoad (module.js:417:12)
    at Function.Module._load (module.js:409:3)
    at Module.require (module.js:468:17)
    at require (internal/module.js:20:19)
    at bindings (/app/node_modules/zmq/node_modules/bindings/bindings.js:76:44)
    at Object.<anonymous> (/app/node_modules/zmq/lib/index.js:6:30)
    at Module._compile (module.js:541:32)
    at Object.Module._extensions..js (module.js:550:10)
    at Module.load (module.js:458:32)
    at tryModuleLoad (module.js:417:12)
    at Function.Module._load (module.js:409:3)
    at Module.require (module.js:468:17)
    at require (internal/module.js:20:19)
FTL/cli:local 209 [*] Child process had an error ExitError: Exit code "1"
    at ChildProcess.<anonymous> (/app/lib/util/procutil.js:49:23)
    at emitTwo (events.js:106:13)
    at ChildProcess.emit (events.js:191:7)
    at Process.ChildProcess._handle.onexit (internal/child_process.js:204:12)
INF/cli:local 209 [*] Shutting down all child processes

这里提示zmq的version有问题,我尝试把zmq重装了几次,还是不行,最终google了一把,原来不是zmq的问题,是nodejs版本太高了,我是个喜新厌旧(除了人)的人,所有的东西都要用最新的,系统用ubuntu 16.04,nodejs要用6.x版本,这次就栽在这里了,其实只要把nodejs版本换成node-v4.4.5就ok了,具体怎么换就不说了,可以了解一下cnpm install -g n,这里吐槽一下nodejs的版本问题,感觉nodejs在0.12徘徊了几年,不知道什么时候突然就到4.x和6.x了,看来大跃进是国际惯例啊。

到这里stf已经完全可以正常运行了,终于见到了久违的登录界面!

cnpm link会把stf全集安装到系统中,cnpm link的时候还报了一个警告

root@ubuntu-mtc:~/git/stf-dev/stf-github# cnpm link
npm WARN skippingAction Module is inside a symlinked module: not running remove pinkie-promise@2.0.1 node_modules/node-sass/node_modules/meow/node_modules/read-pkg-up/node_modules/find-up/node_modules/path-exists/node_modules/pinkie-promise
npm WARN lifecycle stf@1.1.1~prepublish: cannot run in wd %s %s (wd=%s) stf@1.1.1 bower install --allow-root&& not-in-install && gulp build || in-install /root/git/stf-dev/stf-github
npm WARN optional Skipping failed optional dependency /karma/chokidar/fsevents:
npm WARN notsup Not compatible with your operating system or architecture: fsevents@1.0.12
npm WARN optional Skipping failed optional dependency /webpack/watchpack/chokidar/fsevents:
npm WARN notsup Not compatible with your operating system or architecture: fsevents@1.0.12
/usr/bin/stf -> /usr/lib/node_modules/stf/bin/stf
/usr/lib/node_modules/stf -> /root/git/stf-dev/stf-github

fsevents是mac系统上的东西,linux上不能安装,所以报warning,但是其他warning我也没搞懂是怎么回事,但是不影响运行。

以后每次修改stf源码,都要执行一下cnpm install,最好再cnpm link一下,这样修改的代码就生效了。

四、自己制作docker镜像

前面说过,生产环境中的stf是部署在docker当中的,我们修改完stf源码以后肯定要更新到镜像里才可以。制作docker镜像有两种方式:

  • 自己修改完代码以后,替换掉原openstf/stf镜像中的/app目录即可,这样是最简单的方法,原系统有很多链接库也不用管了,但是有个缺点,就是依赖于原docker镜像的操作系统,stf作者说是coreos系统,据说是专门为docker而生,但是这个系统我连自己安装软件都不会。

  • 完全自己从零开始制作镜像。这个工作的挑战性比较大,可以会遇到很多问题,特别是一些依赖的库,还有什么安装软件时unmet问题,太坑了!其实在stf项目中有一个作者的Dockerfile,但是我基于这个Dockerfile制作镜像始终都没有成功。

下面分别介绍两种制作镜像的方法:

1、替换原镜像/app文件夹。准备好你自己修改好的stf目录,假设为stf-github,用下面的Dockerfile生成新镜像即可

FROM openstf/stf

USER root
RUN rm -rf /app
ADD ./stf-github /app

USER root是因为原镜像不用root账户不能删除/app目录。

2、从零开始构建自己的镜像。

这里我使用的是ubuntu系统,所以首先要docker pull一个ubuntu系统镜像

docker pull ubuntu

准备好修改过的stf-github文件夹,和Dockerfile放在同一目录下,另外准备原openstf/stf镜像中的两种lib文件,在/usr/lib/x86_64-linux-gnu目录下,还有最好换成国内的ubuntu源,使用下面的Dockerfile创建镜像

FROM ubuntu

ADD ./stf-github /app

EXPOSE 3000

#replace source
ADD ./sources.list /etc/apt/sources.list
RUN apt-get update
RUN apt-get install -y vim curl git sudo

ADD /x86_64-linux-gnu/libzmq.* /usr/lib/x86_64-linux-gnu/
ADD /x86_64-linux-gnu/libpgm* /usr/lib/x86_64-linux-gnu/

#install npm
curl -sL https://deb.nodesource.com/setup_4.x | sudo -E bash -
sudo apt-get install -y nodejs

RUN npm install -g cnpm --registry=https://registry.npm.taobao.org

WORKDIR /app

RUN cnpm install -g graceful-fs
RUN cnpm install
RUN cnpm link

如果构建镜像过程中提示缺少某个模块,自己加上就行了,这个不是绝对的,上面的graceful-fs是因为有警告说graceful-fs的版本太低,就顺便更新一下了。其实也可以在宿主机上把stf全部弄好以后再整个放到docker中,都一样的。

至此,自己的镜像也构造完了,至于源码怎么修改,等我研究透了再说了

后续更新:

文章中说的复制libzmq的东西有点儿麻烦,事实上每个系统都有安装zmq的命令比,如说ubuntu上用apt-cache search zmq可以找到zmq的库(PS:说实话我没搞清楚到底是哪个,反正装了几个以后就可以了,试试libzmq-dev),mac上可以用brew install zmq来安装。

共收到 68 条回复
118

为啥感觉好复杂。。= =。。这个和源码中给的是一样的镜像么?

5462

#1楼 @monkey 主要是要安装很多依赖,再解决一些报错,镜像中代码和源码是一样的,只是经过编译,然后放到了docker中

118

#2楼 @blueshark 看着就好累。。辛苦。。。

1427

看得我当时就吓尿了。。。
我有两个疑问,望解答:)
1、“provider可以运行在同一台机器,也可以运行在其他机器”
——可以实现多个provider向同一个stf主框架提供手机的方式吗?
2、把stf放在docker中,对USB连接数上是否会造成限制?
——因为我试过把stf放在vm虚拟机中会有USB连接数限制的问题。
3、stf+docker楼主在落地过程中还有遇到些什么坑?
——环境限制或者其它。
😁 😁 😁

5512

stf 2.0.0还没发布,只是有个叫Banthia在上面加入appium等测试工具的集成。建议还是使用master版本。

5462

#4楼 @link1220
1、当然可以用多个provider向一个stf主框架提供手机,而且stf本来就是这样设计的,希望这样来用
2、目前我没发现限制,连个十几台是没问题的,docker和vm原理不一样,所以不用太担心数量限制问题
3、遇到的坑基本上在文章中都说过了

5462

#5楼 @0x88 多谢提醒

5512

#6楼 @blueshark 你有试过多少台手机连续工作多少天么?之前我试过十台手机连续工作后就会出异常,系统报usb相关的错误。

5462

#9楼 @0x88 我用最新的代码跑过大概一星期是没问题的,时间再长就没试过了,因为经常重新部署,我这边也报过一些USB的错误,但是感觉是手机是问题,而不是平台的问题,总体感觉还是挺稳定的

1427

#6楼 @blueshark 多谢回复。下一步我也要学习下docker!

—— 来自TesterHome官方 安卓客户端

50

就冲你写那么多,我也要顶一下,看完了,部署起来确实各种大小坑。

5462

#12楼 @simple 多谢,共同交流

Db42eb

看着就好累,楼主一生平安

10609

我的镜像和你的为什么不一样? 确实看着好累

6405

非常感谢楼主如此详细的文档。今天试着在docker里搭建STF环境,我已经PULL了上面提到的镜像,然后分别运行了上面提到的三个在docker的命令,然后用docker ps 看到三个容器,说明它们都是正常启动的。但在浏览器上访问localhost:7100是失败的,我想问这是什么原因呀?还是我漏掉了什么操作?多谢帮助

5462

#14楼 @mads 共同交流

5462

#15楼 @liuxiaoyao0602 哪里不一样?

5462

#16楼 @xutester 其实在docker里运行和外面运行是一样的,只不过不用搭建复杂的环境,你可以看看docker的log哪里出问题了

11264

看着就好累,楼主平安

9904

@blueshark 请问,在另外的主机上运行provider时,参数怎么指定stf运行的机器?

5462

#21楼 @xiaodian provider启动的时候会指定 --connect-sub、 --screen-ws-url-pattern等参数

96

windows下怎么安装?可以指导下不@blueshark

5462

#24楼 @lilili 我没见过也没尝试过在windows上直接安装,不过可以通过windows的docker安装,其实就是linux虚拟机了

9971

文中有几个IP,不知道是本机的,还是docker的,我QQ349111840,坐等大神指导😹 👏

5462

#26楼 @tql 可以说是本机的,也可以说是docker的,这取决于你的docker有没有一个独立的ip,如果有,就是docker的,没有就是本机的,注意端口不同

12253

@blueshark 楼主我在一台机子上,通过docker启动了stf可以登录,在另一台电脑provider设备,同时在网页中可以看到provider的设备,但是当我点击设备,想进入control界面的时候,页面只是进到control页面什么都没有然后就刷新回来,并且手机断连了,但是我从adb devices去查看,设备是正常的。只能拔线重插后网页才显示正常。但是还是无法进入control界面。
https://github.com/openstf/stf/issues/455,具体描述在这。

分步启动的时候 /api/v1/devices访问一直是404,无法访问到.我根据deployment启动了api后,仍然无法访问到。

5462

#28楼 @zangtian2 手机掉线说明web或者provider出了错误,可以看下log是什么错误,不过看你前面的描述是请求不到接口的问题,很奇怪你那里为什么会去3100端口请求接口,官方文档是3700,mock的时候是7100,如果你用了nginx,建议你检查一下nginx的映射是否正确,从其他机器上provide机器一定要nginx吧。我这篇文章是针对stf1.2的,从2.0开始已经有独立的api模块了,需要用nginx做控制,上文中没有写。

12253

@blueshark ,谢谢楼主,已解决。是浏览器的问题。firefox导致,其他浏览器正常。

12253

@blueshark 又麻烦下楼主。我通过php或python在post STF时,由于crsf原因无法跨源请求(403),请问源码中如何干掉这部分,主要是为了解决直接跳过登陆界面。/auth/mock这个页面

5462

#31楼 @zangtian2 你是想做SSO吧,SSO确实存在这个问题,我是模仿mock.js做了一个接口,然后把这段代码干掉了
app.use(function(req, res, next) {
res.cookie('XSRF-TOKEN', req.csrfToken())
next()
})
还有app.use(csrf())
或者看看oauth2有没什么好办法实现

12253

#32楼 @blueshark 嗯好的,我也是把这两段干掉的,还是没通。我再研究下。多谢了

96

请教下,我不是用DOCKER建立的,是本地的,最多连接手机是37台,是STF限制,还是ADB限制,有什么解决方案吗

96

#6楼 @blueshark
#28楼 @zangtian2
请问下,provider 提供设备的启动命令式什么啊?我也想从别的电脑A,向stf服务器B提供设备,但不知B的启动命令式什么?

5462

#34楼 @hongxang 本地的可能和adb有关,我这里超过37台是没问题的,而且有的电脑很怪,只能识别9台,我遇到过。

5462

#35楼 @onlinesen123 A上启动provider,B上搭建正常的环境就行,B上有手机就在B上也启一个provider,没有就不用启。

96

#37楼 @blueshark 感谢留言,我就想知道你A的启动provider 带的参数是啥啊?难道A也要装STF环境?我意思是B是装了STF,A是一台XP电脑连了1台设备,B想操控A电脑的设备。。
我以为是在B上面的stf启动provider的命令呢,不是这样吗?

5462

#38楼 @onlinesen123 在连接手机的电脑上启provider和adb,在服务器上启其他模块,比如app,websocket等等,provider启动的命令可以参考官方:

stf provider \
   --name "%H/%i" \
   --connect-sub tcp://devside.stf.example.org:7250 \
   --connect-push tcp://devside.stf.example.org:7270 \
   --storage-url https://stf.example.org/ \
   --public-ip ${COREOS_PRIVATE_IPV4} \
   --min-port=15000 \
   --max-port=25000 \
   --heartbeat-interval 10000 \
   --screen-ws-url-pattern "wss://stf.example.org/d/%i/<%= serial %>/<%= publicPort %>/"
96

#39楼 @blueshark
哦,晕死,那就是只要provider设备的,都要安装STF环境。。这个晕菜了,老板竟然提出随便找个设备裸体就能接入stf,这要求怎么做啊。。。

5462

#40楼 @onlinesen123 这怎么可能,必须安装stf环境和adb,所以最好用docker,否则就要自己搭环境了

96

@zangtian2 确实是本地ADB问题,我改成DOCKER限制台数取消了。现在我想问一下,我想把STF允许外网访问进来,是用NGINX反代吗?

5462

#43楼 @hongxang nginx反向代理可以的,但是需要注意一些事情,provider与web有很多交互,其实用户与provider也有交互,web与用户的交互要保证所有的交互都通过nginx进行代理。

96

@blueshark 我外网IP:7100 访问,然后网页直接转向到192.168.10.10:7100 。这个是不是要在STF什么参数上设置,才能允许外网访问

5462

#45楼 @hongxang 如果是7100好像不用设置什么了,我也没试过,不过7100只是个demo,最好自己分开搭建

96

@blueshark 请教下:
1.如果用WIFI连接,是不是必须手机安装无线ADB(我通过此方法用7100的架好了),但不知道STF本身可以不用无线ADB吗?
2.按上面的教程,DEMO的没问题,但分开架的,查看日志都没错误了,但是连接设备会马上断开,然后设备就断开了,不知道哪里设置错误,我是将你的域名改成我的外网域名,然后路由做端口印射,IP改成我的IP,其它都没有变动。
3.STF的PLUGAPK,要怎么使用,应该能支持批量下发APK吧?

5462

#47楼 @hongxang 1、我不太清楚你说的无线adb是什么意思,我们一般把手机插在台式电脑上。电脑上安装provider,如果你想用远程adb,要把provider的--allow-remote参数加上,否则stf不允许类似于ip:端口号的serial上线的。2、分开架的时候nginx转发比较复杂,单凭你说的现象我也没办法判断问题所在,你可以看一下stf的log,看看报什么错。3、PLUGAPK是什么功能?我好像没见到这个

96

楼主,你好!本文中未提及rethinkdb-proxy-28015.service 这个服务。这个是可以不采用的么?

5462

rethinkdb-proxy-28015.service这个其实只是连接rethinkdb的一个代理模块,如果直接写死了rethinkdb的地址,可以不用

E68dad


你好,这是我写的一个Dockerfile文件,想替换掉镜像中的,tables.js,想请教下,RUN rm -rf /app 这个路劲是写我要替换掉的tables.js源码中的位置吗????

5462
E68dadAllen_ 回复

当然要,否则把整个app文件夹都删除了

96

生产环境,一台服务器最多可连多少设备?

5462
32Theo 回复

这个我还没发现上限,100台是没问题的,不够的话可以扩展的

10137

6、登录授权
请教登录授权有更具体的介绍么?

5462
10137qawow 回复

登录授权不同的公司不一样,所以没有详细介绍,不过可以参考stf mock模块

96
5462blueshark 回复

@zangtian2 @blueshark 的确需要部署单独的api server,还需要在nginx配置文件里添加二段描述。参考了这篇文章,我弄了一个一键部署stf的脚本 https://github.com/thinkhy/STF-Assistor/blob/master/deploy_stf.sh.template

5462
32thinkhy 回复

脚本写的很棒,赞一个!我用nginx做负载均衡的时候遇到的两个问题,希望对你有用
1、torage-plugin-apk、storage-plugin-image、storage-temp这三个最好不要做均衡,因为nginx会把文件上传一个server,而去另外一个server拉下来安装,结果拉不到文件,造成安装失败。
2、provider中的这一段--screen-ws-url-pattern "ws://IP_ADDRESS/d/floor4/<%= serial %>/<%= publicPort %>/",如果用户和provider在同一网络,在IP_ADDRESS这里可以直接换成PROVIDRE_IP_ADDRESS__:<%= publicPort %>,就是直接换成provder的ip加端口号,这样就不经nginx转发了,减少nginx的压力。

96
32thinkhy 回复

请问这个脚本文件下载下来之后直接就在win7下面点击相应的.sh文件就可以了吗

96
5462blueshark 回复

@blueshark Thanks! nginx的负载均衡这块我还没弄, Provider的websocket直连已经注意到了,provider的部署也做成了一键脚本:https://github.com/thinkhy/STF-Assistor/blob/master/deploy_stf_provider.sh.template 另外还把systemd的配置也自动化了,这样以服务方式启动stf,可用性提高不少,比如adb server和provider断了能自动重启。

96
32wan175214 回复

自动部署脚本只支持ubuntu。本想用chef和ansible实现自动批量部署,考虑到实现简单和使用方便,直接用Bash shell写了。

5462
32thinkhy 回复

能不能加下我的联系方式,共同建个群交流一下,可以看我的个人介绍,我后面又写了一些文档,感觉对STF的理解还不够清楚,所以没发出来。

96
5462blueshark 回复

OK. 晚点我联系你

15925

你好,想请教一个问题
在Mac机器上安装开源的stf,安装完成后执行 stf local命令后,提示如下错误:Error:Could not locate the bindings file.,请大神们帮忙指点迷津

bogon:pkgconfig baidu$ stf -V
2.3.0
bogon:pkgconfig baidu$
bogon:pkgconfig baidu$ stf local
/usr/local/lib/node_modules/stf/node_modules/bindings/bindings.js:91
throw err
^
Error: Could not locate the bindings file. Tried:
→ /usr/local/lib/node_modules/stf/node_modules/zmq/build/zmq.node
→ /usr/local/lib/node_modules/stf/node_modules/zmq/build/Debug/zmq.node
→ /usr/local/lib/node_modules/stf/node_modules/zmq/build/Release/zmq.node
→ /usr/local/lib/node_modules/stf/node_modules/zmq/out/Debug/zmq.node
→ /usr/local/lib/node_modules/stf/node_modules/zmq/Debug/zmq.node
→ /usr/local/lib/node_modules/stf/node_modules/zmq/out/Release/zmq.node
→ /usr/local/lib/node_modules/stf/node_modules/zmq/Release/zmq.node
→ /usr/local/lib/node_modules/stf/node_modules/zmq/build/default/zmq.node

5462
15925AwesomeOcean 回复

brew install zmq
brew install yasm #安装jpegturbo会用到

3321

windows按照楼主的方式,通过docker启动,不能访问

5462
3321heyt 回复

麻烦你把具体的操作和遇到的错误描述一下,或者看我的资料联系我共同交流

3321

方便加下QQ1076947473进行交流

需要 登录 后方可回复, 如果你还没有账号请点击这里 注册