测试基础 minicap 工具的剖析与修改
一、介绍
minicap 是开源项目 STF（Smartphone Test Farm）中的一个工具，负责屏幕显示，是 STF 框架的依赖工具之一。minicap 工具采用 NDK 开发的，属于 Android 的底层开发。
源码地址：https://github.com/openstf/minicap
但是在将其应用在一个真机云平台时，发现这个工具有一些不足之处，具体表现为：
旋转屏幕后，收到的图片有黑色区域，图片内容不完整。
接收的图片大小无法在 minicap 运行过程中动态修改,只能通过重启 minicap 服务进行修改。
为了解决这两个问题，需要在原有的代码基础上做一些修改，下面主要围绕剖析代码与修改代码这两部分展开讨论。
二、代码剖析
（一）minicap 运行流程
(1) 命令行方式启动
手机内部启动 minicap，可在命令行下查看 minicap 进程相关信息。
a.检测 minicap 是否可以正常启动
首先测试下 minicap 工具是否可用，命令如下 (其中-P 后面跟的参数为手机屏幕的尺寸，你可以修改成你自己设备的尺寸)，最后输出 OK 就表明 minicap 可用。
b.启动 minicap
c.查看手机中 minicap 服务的相关信息
(2) 本地端口转发
(3) 创建 client 连接本地端口接收 minicap 产生的图片
（二）minicap 内部流程解析
(1) 解析 LD_LIBRARY_PATH=/data/local/tmp /data/local/tmp/minicap -P 1440x2560@1440x2560/0 启动行参数，设置相关配置。
其中：
-P：(x@x/{0|90|180|270}) minicap 产生的图片尺寸以及传递出来的图片尺寸,可修改该参数调整 client 收到的图片的宽度或高度。eg：1080x1920@360x640/0 指定 minicap 在手机内部产生图片分辨率为 1080x1920，而传递出来的图片分辨率为 360x640,0 表示手机目前是竖屏状态，逆时针旋转手机可根据不同角度设置此参数为 90、180、270。
-Q： 设置 minicap 内部对图片的压缩比：0—100
注：minicap 内部会对期望图片的分辨率做一个调整，如果期望的分辨率大小和手机的真实分辨率大小是等比的就不做调整，如果不等比则会调整期望的图片的分辨率大小。
(2) 初始化 minicap 内部对象
a.调用 setRealInfo、setDesiredInfo、applyConfigChanges 函数设置相关配置
b.minicap->setFrameAvailableListener(&gWaiter):创建一个监听手机帧率的对象
c.填充 minicap 协议的头信息 24 个字节
(3) 监听 client 的连接（内部只支持连接一个 client 对象）
(4) server 端使用连接到的套接字发送 minicap 的头信息，判断 socket 是否能正常通信，若消息发送失败，则关闭该套接字，重新去监听请求。
(5) socket 正常通信情况下，不断传送图片信息
minicap 传出来的图片信息为：包括图片大小信息和图片二进制信息
即：
三、minicap 的修改
(1) 在 minicap 运行期间不断检测手机是否旋转并作出 minicap 相关适配修改
需求：手机进行旋转之后转换后收到图片依然正确
修改点：
1) 得到手机的真实屏幕分辨率和旋转角度（minicap 内部函数）
2) 修改目标图片变量的旋转角度
3) 重新修改 minicap 设置并应用
修改后：得到正确、完整的图片
(2) 在 minicap 的传送图片信息中加入图片旋转角度的字段
需求：无法识别图片的旋转角度，都会对图片按照竖屏形式显示，导致图片被错误拉伸。client 端可根据收到的图片旋转字段正确显示收到的图片（是否需要将图片旋转后显示）
修改点：
1) 修改图片对象的头字段长度
2) 发送图片前将图片的旋转角度加入图片对象头字段内
修改后：可从图片的信息中获取这张图片的旋转角度，前端根据旋转角度在显示前做旋转处理，使图片正确显示。
(3) 在 minicap 运行期间，通过动态修改收到的图片的配置来得到不同分辨率的图片。
需求：当使用 web 服务来操作手机时，实现一个类似于从标清到高清这样的一个清晰度切换。
修改点：
1) 得到手机的真实屏幕分辨率和旋转角度
2) 修改目标图片变量的宽度和高度
3) 重新修改 minicap 设置并应用
修改后：得到的图片分辨率变大，图片的清晰度提升
(4) 特殊手机的分辨率和旋转角度获取
需求：对于部分手机调用 minicap_try_get_display_info、try_get_framebuffer_display_info 失败可使用下述方法得到手机相关信息。
1) 获取手机分辨率方法：
a.通过 Android 函数获取屏幕的分辨率信息
b.adb 命令
wm size、dumpsys window displays、dumpsys display
2) 获取旋转角度：
a.Android 函数
b.adb 命令
dumpsys input | grep SurfaceOrientation
四、总结
优秀的代码会减少后期大量的维护成本
1.写代码之前先设计好易于维护和拓展的代码结构
2.代码简洁明了，避免晦涩难懂，减少 bug 产生机率
五、福利分享
用户手册： http://bbs.360.cn/thread-15319710-1-1.html
体验地址：http://opentest.360.cn/phonerenter.html
不拿 360 手机做实验？
印象中 minicap 它的更新速度很快，并不是每次都刷整个屏幕的，只刷新变动的地方，但是本文中没看到相关信息
这个 NB，可以考虑下合并到官方的版本，所以自己重新开源出来了。
还有个生成图片过快的问题 https://github.com/openstf/minicap/issues/105
支持一下，很棒
codeskyblue
回复
这个我们目前是在内部执行做了一个对比，会保留上一张的图片，如果该张图片和上张图片是一样的，就不会传送出来，从而减少了图片的输出帧率
codeskyblue
回复
主要就是为了解决相应特殊手机例如三星的问题，再一方面就是针对分辨率的动态调整（在网络不好的情况下，web 端的压力变小）
希望有生之年能看到你们的 pr 
请问楼主
在 minicap 运行期间不断检测手机是否旋转并作出 minicap 相关适配修改
这个我在多台手机上（包括 4.X、7.X 的机器）试了都不成功，不管是横屏还是竖屏旋转返回的都是 1，只有一台 6.x 的手机可以
这是否就是你说的部分手机调用 minicap_try_get_display_info、try_get_framebuffer_display_info 失败的情况？
你说针对这样的失败，可以用安卓代码来检测，那怎么动态传递给 minicap 呢？
opentest-oper@360.cn
回复
这个可以问下是怎么检测不一样的吗？
minicap 本身不是已经做了帧变化监听吗，只有画面发生变化时才会传送数据出来，假如手机画面一直没有变化（极端情况，比如黑屏），就不会产生新的图片吧？
@360qa
楼主,有编译好的 micicap 可执行文件吗?从 Github 上下载的源码不知道要怎么推送到安卓手机上;
谢谢
bauul
回复
Android4.3,原生就支持，不需要另外的处理，可以看我提的 Issue https://github.com/openstf/minicap/issues/123
lb
回复
执行 adb push 就可以把文件推到手机上，ndk-build 就可以在本地生成可执行文件，若有需要可联系
零飞飞
回复
你可以看看 minicap 的日志，单独调试下问题是否那两个函数获取旋转角度失败，然后再进行相应修改；如果是获取旋转角度失败的话可以使用 adb 命令或 android 获取；传递的话使用信号的发送或者 socket 都可以实现
在 minicap 运行期间不断检测手机是否旋转，想问下，是在源码的什么地方做的检测呢? 我尝试修改 minicap.cpp， 发现一旦开始传输图片流（源码 while 循环那里），就不能再通过 minicap->applyConfigChanges() 修改配置，不然会在运行时报错。
所以非常想知道，您的动态检测，是在什么时机进行的。
再次请教，是否有修改 minicap-shared/aosp/src/minicap_**.cpp 的代码？
我这样修改代码：while (! gWaiter.isStopped() && (pending = gWaiter.waitForFrame()) > 0) {检测，修改 desiredInfo.orientation = info.orientation;setDesiredInfo(desiredInfo)，applyConfigChanges()..., 再下面就是原有代码逻辑 ｝
问题出在 applyConfigChanges(); 执行中的错误信息如下
ERROR: (external/MY_minicap/src/minicap_21.cpp:123: errno: No such file or direc
tory) Unable to lock next buffer BAD_VALUE (-22)
ERROR: (jni/minicap/minicap.cpp:523: errno: No such file or directory) Unable to
consume pending frame。
我看了 applyConfigChanges() 的代码，里面会销毁一些目前的对象，内存等。然后重新 new, 应该是这个导致了上面的报错。
所以想知道，你是修改了 applyConfigChanges() 么？
不知道是否方便加你 qq 或邮件详细聊。
我的 qq:87872229, 邮箱 87872229@qq.com。
盼回复。
opentest-oper@360.cn
回复
你好，可否请教一下 minicap 的问题，我只是想用 minicap 代替 android 自带的 screencap 在 tasker 中调用（想尽量的减小截图的体积，可以极大的牺牲清晰度）。由于是程序小白，完全不知道如何下载源码及编译 minicap，从 csdn 找到一个编译好的包：https://download.csdn.net/download/hanning563128766/10313132
根据自己手机选择了相应版本，因为是 root 过的手机，直接把文件复制到要求的位置了，并改了两个文件的权限为 777，用命令截图
LD_LIBRARY_PATH=/data/local/tmp /data/local/tmp/minicap -P 1080x1920@1080x1920/0 -Q 50 -s > /storage/emulated/0/DCIM/taskertest/mini/1.jpg
可以看到 1.jpg 文件，可是大小是 0k。
由于找不到其他来源的编译好的包，我也不知道是下载的这个包有问题，还是我输入的命令有问题，还是我的手机系统的问题（是用的类 cm 系统的 DU 7.1.2），而且在另一台 kindle hdx 8.9 平板上（刷的 aosp 类三方 rom，AEX 7.1.2 系统），截图的大小也是 0k。
另外请教下，除了 jpg 的质量参数（0-100），分辨率能用更小一些的吗（就是不对应自己手机的分辨率）
谢谢。
请问楼主用什么 IDE 做 NDK 的开发环境？我从 GitHub 上下载编译运行以后很多机型都是段错误，没有 Android C++ 代码的调试经验，求指导，gdb 可以用吗
AntonyBonn
回复
不用 IDE，我用的是 sublime，直接编辑使用，编辑好后在命令行编译的。要安装下 ndk 环境
7emper
回复
分辨率可以调小，不过需要修改 minicap 里面代码，从 cmd 修改大小是无效的，对于官方版本来说
7emper
回复
截图这个你试试 google 手机呢，测试下 minicap 有没有崩溃，你可以想试试看能不能得到手机图片，内部的截图功能依赖于是否取到设备图片
请问有没有人在 Windows 下碰到 segmentation fault 的情况，怎么解决？
牛逼！！，不过我看不懂 c++，还是不知道怎么改
请问下楼主，修改后是在 windows 还是 Linux 下编译的？我在 Windows 下编译后，生成的 minicap.so 文件只有 6KB，推送到手机后有问题。
可以补充一下具体的执行命令行和返回结果么？
XiaLeon
回复
您好，我目前做到竖屏，但是视频和游戏需要支持横屏，看了你的文章是需要修改源码吗？是修改 minicap.cpp 的文件内容吗？怎么修改方便指导一下么，如果大神有时候帮忙将详细方式发我邮箱谢谢啦：1461585371@qq.com
横竖屏可以用 Android 反射接口实现，向前端传输图片时，告知前端是横屏还是竖屏