ATX ATX 学习 (三)-atxserver2-android-provider

阿凯 · 2019年05月13日 · 最后由 菜白小 回复于 2021年02月01日 · 2118 次阅读

服务端代码

代码 clone 到本地,搭好相应环境(怎么搭的这里就不介绍了,很好搭的哈)
一般库首先查看 main.py 文件,debug 模式开始运行

一开始就是没接触过的 tornado.ioloop,有点偏底层,头疼,还是加油干吧

为了理解的更深入些,先了解下 ioloop 的一些知识吧,在这之前先了解点预备知识

一、epoll

ioloop 的实现基于 epoll,那么什么是 epoll?epoll 是 Linux 内核为处理大批量文件描述
符而作了改进的 poll。那什么是 poll 呢?首先,我们了解一下, socket 通信时的服务端,当它接受( accept )一个连接并建立通信后( connection )就进行通信,而此时我们并不知道连接的客户端有没有信息发完。 这时候有两种选择:

  • 一直在这里等着直到收发数据结束;
  • 每隔一定时间来看看这里有没有数据;

    第二种办法要比第一种好一些,多个连接可以统一在一定时间内轮流看一遍里面有没
    有数据要读写,看上去可以处理多个连接了,这个方式就是 poll / select 的解决方案。 看起来似乎解决了问题,但实际上,随着连接越来越多,轮询所花费的
    时间将越来越长,而服务器连接的 socket 大多不是活跃的,所以轮询所花费的大部分
    时间将是无用的。为了解决这个问题, epoll 被创造出来,它的概念和 poll 类似,不过每次轮询时,他只会把有数据活跃的 socket 挑出来轮询,这样在有大量连接时轮询就节省了大量时间。

而对于 epoll 的操作,其实也很简单,只要 4 个 API 就可以完全操作它。

epoll_create

用来创建一个 epoll 描述符( 就是创建了一个 epoll )

epoll_ctl

操作 epoll 中的 event;可用参数有:

参数 含义
EPOLL_CTL_ADD 添加一个新的 epoll 事件
EPOLL_CTL_DEL 删除一个 epoll 事件
EPOLL_CTL_MOD 改变一个事件的监听方式

而事件的监听方式有七种,而我们只需要关心其中的三种:

宏定义 含义
EPOLLIN 缓冲区满,有数据可读
EPOLLOUT 缓冲区空,可写数据
EPOLLERR 发生错误

epoll_wait

就是让 epoll 开始工作,里面有个参数 timeout,当设置为非 0 正整数时,会监听(阻塞)timeout 秒;设置为 0 时立即返回,设置为 -1 时一直监听。

在监听时有数据活跃的连接时其返回活跃的文件句柄列表(此处为 socket 文件句柄)

close

关闭 epoll

现在简单了解了 epoll 后,我们就可以来了解 ioloop 代码

二 ioloop.py 文件

ioloop 是 tornado 的关键,是他的最底层。
ioloop 就是对 I/O 多路复用的封装,它实现了一个单例,将这个单例保存在 IOLoop._instance 中
主要有两个要点。一个是 configurable 机制,一个就是 epoll 循环

2.1 创建 IOLoop 实例

来看 IOLoop,它的父类是 Configurable 类,也就是说:IOLoop 是一个直属配置子类
class IOLoop(Configurable):
......
这里就要结合 Configurable 类进行讲解:
Configurable 中的 new 方法
1.首先实例化一个该直属配置子类的'执行类对象',也就是调用该类的 configurable_default 方法并返回赋值给 impl:

2.2 epoll

从 start() 开始,啥都不说,上代码

asyncio.get_event_loop()方法,在一个 coroutine 内部获取 loop 他不需要将 loop 作为参数传递给协程函数

注意 get_event_loop() 方法仅在同样的线程中生效,如果在一个新线程中,应该用 new_event_loop() 来获取新的 loop,并通过 set_event_loop(loop) 来将其设为该线程下的 loop。
(暂时深入到这里吧,跑偏题了,尴尬)
继续
main.py 文件中运行开始 IOLoop.current().run_sync(async_main) 是干什么的

IOLoop 中的 run_sync 方法中调用的函数添加参数,这个好理解。
(这里暂时不在深入,怕又跑偏了,记录 yi 有时间的话继续)

async(协程的语法)

作者很给力,不断的使用新的东西,这是 python3.5 后为 asyncio 提供了 async 和 await 的新语法
想要了解协程的可以看下这篇,通过实例来了解更好些https://zhuanlan.zhihu.com/p/25228075
注意:通过 async 关键字定义一个协程(coroutine),协程也是一种对象。协程不能直接运行,需要把协程加入到事件循环(loop),由后者在适当的时候调用协程。
定义异步函数 async def async_main()

三 继续看代码吧

# 定义异步函数

async def async_main():
        # 建立解析对象ArgumentParser   formatter_class: 重置 help 信息输出的格式
        parser = argparse.ArgumentParser(
            formatter_class=argparse.ArgumentDefaultsHelpFormatter)
        # 为应用程序添加参数选项  带-的为可选参数,default默认参数值
        parser.add_argument(
            '-s', '--server', default='localhost:4000', help='server address')
        # action参数的处理方法
        parser.add_argument(
            "--allow-remote", action="store_true", help="allow remote connect device")
        parser.add_argument(
            '-t', '--test', action="store_true", help="run test code")
        # type参数的数据类型
        parser.add_argument(
            '-p', '--port', type=int, default=3500, help='listen port')
        parser.add_argument("--owner", type=str, help="provider owner email")
        parser.add_argument(
            "--owner-file", type=argparse.FileType("r"), help="provider owner email from file")

3.1 调用 parse_args()

来解析 ArgumentParser 对象中保存的命令行参数:将命令行参数解析成相应的数据类型并采取相应的动作,它返回一个 Namespace 对象。

args = parser.parse_args()

3.2 heartbeat_connect 等待连接

这里直接运行会出现

什么原因,应该很容易看到,需要连接 localhost:4000,没有起服务,好吧,先运行 rethinkdb 数据库,然后启动 atx-server2

好了,然后运行

3.3 进入 make_app()

使用 tornado.web.Application 进行路由控制

3.4 heartbeat_connect 去连接设备,这里可以看到过程中基本都是异步方法 aysc,运行到_connect 这个方法时:

async def _connect(self):
      ws = await websocket.websocket_connect(self._server_ws_url)
      ws.__class__ = SafeWebSocket

      await ws.write_message({
          "command": "handshake",
          "name": self._name,
          "owner": self._owner,
          "secret": self._secret,
          "url": self._provider_url,
          "priority": self._priority,  # the large the importanter
      })

发现通过 websockt 服务来连接

3.5 hbc.open()

IOLoop.current().spawn_callback(coroutine_visit) #开始调用协程

3.6 device_watch()

開始使用 adb 進行監控 127.0.0.1:5037 这里就不再说 name 多了
_init_binaries() 这里刚开始获取了设备信息] [设备名] [sdk: 28, abi: arm64-v8a, abis: ['arm64-v8a', 'armeabi-v7a', 'armeabi']
根据设备选择要使用的 atx 代理 use atx-agent: atx-agent-armv7

3.7 _install_apk()安装 whatsInput 和 ATX 这里只看这两个,另一个属于测试包

这里手机初始化准备好后会向前端页面发送
websocket send: {'udid': '2d869e6', 'platform': 'android', 'colding': False, 'provider': {'atxAgentAddress': '127.0.0.1:20001', 'remoteConnectAddress': 'Ip:20004',

'whatsInputAddress': '127.0.0.1:20003'}, 'properties': {'serial': '设备名', 'brand': 'Xiaomi', 'version': '9', 'model': 'MI 9', 'name': 'MI 9'}, 'command': 'update'}

暂时写到这里吧,明天有时间看下 atx-server2 的部分代码,觉得结合着看更方便去了解

目前还在学习中,希望会对大家有所帮助,觉得不错,就点赞支持一下。 另外,有什么错误的地方需要大家指正。谢谢!

共收到 6 条回复 时间 点赞

看的真仔细

codeskyblue 回复

大佬好,非常感谢项目的开源,感谢可以让我有进一步提升的学习机会😀

codeskyblue 回复

借楼问一下,
我这边搭建服务已经 ok,但是介入设备 atxserver2-android-provider 时,报换行之类的错,不太明白,这个 git hub 上的代码按理说都是经过多人验证过的,我也没有修改,可以给些建议吗,谢谢!!!

秦岭 回复

额,好奇怪

安装 atxserver2-android-provider 依赖时,报错如下:
1、在 atxserver2-android-provider 目录下执行 npm install,依赖安装一半报错:

---------->【基于以上问题,修改了 package.json,并将在文件中增加字段 "license": "MIT","repository": { "type": "","url": "" } 】
----------> 修改后再次执行 npm install, 依赖安装依然失败(提示:安装了 12 个包),过程短暂停留在如下界面后安装失败:

2、在依赖未安装成功的情况下,执行:pip3 install -r requirements.txt
3、在 atxserver2-android-provider 目录下 执行 python3 main.py --server 127.0.0.1:4000,报错如下图:

写的真好,但是我有个问题,大佬有空能帮我解答一下吗?
1.后续 atx2 是自己写的中间件进行 heartbeat 通信,但是二次开发的时候一旦请求过长就会出现 ws 断开的情况,我看了很久的代码也没看明白是怎么实现心跳机制的,大佬能分析一下吗?

需要 登录 後方可回應,如果你還沒有帳號按這裡 注册