缘起
前天同桌妹纸问一个控件怎么定位的问题，我张口就来，ID，xpath。。。。。妹纸说这些我都试过了，还是无法定位,不信我 Debug 给你看。N 种方法尝试后，只能接受现实，非原生控件，于是老脸一红，告诉妹纸，这是非原生控件，无法通过常规方式定位。搜索了一下，很多帖子都反映过这个问题，但是都没给出解决策略。不知道这些小伙伴最终有没有解决。遂决定，吃个大闸蟹，研究一下看能否解决。
非原生控件给自动化带来的痛点
- View 里控件都定位不到
控件随机变化（如支付密码键）
密码键盘每次页面打开或者页面刷新键位都不一样
常规定位方式无法识别
智能货架，经常变换的显示位置
常规解决方式
- 坐标大法：但是坐标大法对于有些随机变化密码键就无法操作了。
- 开发配合：给特定的 app 包，解除安全键盘。这种操作无异于饮鸩止渴。
图像识别尝试
由于我们页面控件不会像验证码那么多干扰难识别，现在图形识别技术 Java，Python，C++ 等都非常成熟。一通百度后在 OpenCV 发现了 matchTemplate 方法，在图片中找指定的图片。主要用的以下两种方法：
- 使用 OpenCV 函数 matchTemplate 在模板块和输入图像之间寻找匹配,获得匹配结果图像
- 使用 OpenCV 函数 minMaxLoc 在给定的矩阵中寻找最大和最小值 (包括它们的位置).
具体实现
-
截取图
- 滑动到非原生控件，使元素可见
- 截取截目画面即为原图像
- 用画图工具打开原图像（不要人为放大或者缩小原图像），截取非原生控件的图像即为模板图像
- 原图像：
- 如下用画图工具打开，保证分别率不变下截取目标图像作为模板图像
- 模板图像（非原生控件图像）
-
取坐标
- 执行 OpenCV 函数 matchTemplate 获取坐标
- 为方便公司同事和社区伸手党使用，直接上码 LvmamaKit 代码工程 Git 传送门，调用 LvmamaKit.find2BElementPoint4Debug 会在原图像上标识出是否匹配成功
- 第二步成功后，调用 LvmamaKit.find2BElementPoint 返回 Json 格式坐标
- 回显示意图，忽略图片失真
5.返回坐标，自行计算出中心坐标 {"x":"309","y":"854","width":"105","height":"82"} 
-
点坐标
- 拷贝返回的坐标，进行相对计算
- 点击相对坐标，完成你的自动化用例
识别密码
1.密码键盘，1-9 随机变，图像识别妥妥的搞定。 示意图
-
搞定收工
- 明天可以给妹子解决非原生控件的定位问题咯
参考资料
赞，这方法很不错
图像识别好用，但注意模板问题，你这个我们的工具算成熟解决了。用在项目上了~
6，解决我一个问题
群主是狗
回复
我的问题没解决。大神你帮我看看我另外一个帖子的问题。https://testerhome.com/topics/16510 如何快速改 ios 模拟器 host
如果是你例子中的 有文字 的案例，不需要这么麻烦，直接使用 ocr 就可以了。
我之前写了一个 adbui 的 python 库，你可以尝试一下。
https://github.com/hao1032/adbui
很有启发，谢谢分享。
hello
回复
个人感觉 OCR 的方案并不如你的好，毕竟现在腾讯 OCR 通用图片做的并不好。我上传了一张支付的图片，想要识别里面的数字位置。很遗憾腾讯优图 OCR 连数字 1 都没有识别出来。所以还是建议你暂时用自己的方案
转一个，图像识别，文字识别都可以 https://testerhome.com/topics/16503
去年我弄 app 自动化的时候,也是用的 openCV 解决支付键盘键位随机分布的问题.
https://www.jianshu.com/p/5e507f105013
直接用 airtest 图像识别 (doge
airtest 不能用吗
按键精灵手机版
我记得网易的 airtest 也是基于图像识别定位的，楼主调研过吗？
你这个没源码吗老铁
您好，请问我之前有使用过这个问题解决 app 上通过图像识别点击或者判断元素状态的问题，但是在答辩的时候，有公司的同事提出分辨率的问题，这该怎么办呢？