Appium 基于 uiautomatorviewer 自动生成代码 (兼容 android 和 iOS)

hello · 2018年07月02日 · 最后由 chen987123 回复于 2020年05月08日 · 17688 次阅读

本帖已被设为精华帖！

缘起

公司部门调整 PC 部门和无线部门合并，原本负责主站 PC 端自动化的同事需要马上上手安卓，IOS 自动化。对于初次接触移动端的测试者来说，跨度还是有点大的。加之人员有些变动，不得不搞个工具降低学习成本，马上产出。公司 app 页面上有动态加载的元素，每次用 Appium 自带的工具抓取 Xpath 时，总是报错。为了降低自动化同学的学习成本和解决无法的问题，就对 uiautomatorviewer 二次开发。
二次开发 uiautomatorviewer 优化定位符生成自动化代码实践总结分享
和原生的 SDK 自带的 uiautomatorviewer 优点：

优化截图速度，修复动态元素加载页面截图报错的问题
优化 Xpath 提取规则，截取相对短的 Xpath
支持截取动态加载的页面
自动生成代码
支持 U2 的 xpath 在改造上述工具分享帖子中，有幸得到@carl 老师的神点拨：“这个还可以兼容 ios 录制呢，好好玩 ”，于是就想继续对此进行再次开发，以支持 IOS，顺便也偷点懒，生成一下 IOS 自动化中机械重复的代码（driver.findElement("//xxx.xxxxx").click()）。不管是不是重复造轮子，对一个刚接触初次接触安卓，和 IOS 自动化的自己来说也是一次难得的学习机会。不足之处希望各位老师见谅。新工具特点：
不需要设置 inspector 里面的各种参数，不需要启动 appium
重要的一点，不需要换定位工具，安卓那边用 uiautomatorviewer ，IOS 这边用 inspector
自动生成代码，我喜欢的懒方式，机械的事情，我只想 Ctrl+C ，Ctrl+V

原理

appium 自带工具安卓端和 ios 原理都是相同的。截图 +Pagesource 的 xml 去根据坐标高亮选中元素。

安卓：安卓定位基于【右上坐标】【左下坐标】两点定位元素布局
IOS：IOS 定位基于【右上坐标】【高度，宽度】由定位点横轴长，纵轴长去定位元素布局其他相差无几，搞清楚这两点我们就好着手改造
获取 PageSource 的 xml 参考 WebDriverAgent 的 wiki 把节点名称都换成 node（XCUIElementXXXX--->node）因为以 uiautomatorviewer 为基础，所以只能 Xml 以安卓端的为参照
获取截图并压缩，不同的 IOS 机型截图像素是不同的，而且换算起来很麻烦，所以我选择压缩，压缩后也不用担心控件坐标与截图对应关系
生成 xpath，基于安卓的原理稍加改造即可。以上参考 WebDriverAgent 的 wiki 和@carl 老师的帖子传送门

使用

安卓端：jar 放在【\android-sdk-windows\tools\lib】下（请先备份您自带的），启动方式猛击【\android-sdk-windows\tools\uiautomatorviewer.bat】
IOS 位置任意位置：shell 终端执行： java -XstartOnFirstThread -jar uiautomatorviewer.jar -XstartOnFirstThread（ios 使用时，请先确保你用 appium 的 inspector 是可以抓取元素的）

具体使用方式请参照 Git 上详细使用说明，这里不赘述了。请务必先看完 Git 上的 readme 有疑问再问问题

效果

安卓端：
IOS 端：

实践并总结一下各路大神的无私分享，谢谢各位授之于渔，如有雷同实属参照，改造工具没别的，跟着好的思路分享，就是干！非常感谢，期待大神们分享更多更好的工具思路。
jar 包放到 Git 上了jar 包和具体使用说明
刚完成雏形，还很多要完善的地方，刚玩自动化的人伤不起啊，下班了。

再次感谢@carl 老师的神点拨和社区的各个老师给予的帮助！

后期打算支持生成 Python 的代码，感觉现在社区 py 很多，欢迎大家不吝赐教我继续改进！觉得 OK 的 git star 一下。

43 个赞

如果觉得我的文章对您有用，请随意打赏。您的支持将鼓励我继续创作！

打赏支持

共收到 104 条回复时间点赞

思寒_seveniruby 将本帖设为了精华贴 07月02日 22:37

何畅 #111 · 2018年07月03日

真机可以用了吗？

hello #3 · 2018年07月03日 Author

对

何畅回复

我用的就是真机

对酒当歌 #4 · 2018年07月03日

刚试了下，华为的手机是可以的，苹果需要启动 appium 的 inspector 后才能抓

hello #5 · 2018年07月03日 Author

对

对酒当歌回复

苹果手机不起 appium 的 inspector 也是可以的。前提是手机里面 WDA 已经安装启动了。
华为，op，夜神都是可以的。

hello 在 Py 福利 Python 自动化代码自动生成工具分享中提及了此贴 07月03日 17:23

对酒当歌 #106 · 2018年07月03日

对

hello 回复

ios 的我这试了下，只能抓到 UICatalog 这个 app 的页面，其他 app 的页面一抓就报错（能用 appium 的 inspector 抓到），是不是哪里操作错了：

hello #105 · 2018年07月03日 Author

对

对酒当歌回复

用 appium inspector 可以抓取么？

对酒当歌 #9 · 2018年07月03日

对

hello 回复

可以的

hello #10 · 2018年07月03日 Author

对

对酒当歌回复

啊。奇怪了，这个就是利用 WDA 抓取 xml。你浏览器敲这个 127.0.0.1:8001/status 看看返回值。能拿到 Sessionid 么

对酒当歌 · #11 · 2018年07月03日

仅楼主可见

hello #12 · 2018年07月03日 Author

对

对酒当歌回复

哈哈哈。我说错了，就是是 8100。你 app 叫什么。我这边试试看

对酒当歌 · #13 · 2018年07月03日

仅楼主可见

hello #14 · 2018年07月03日 Author

对

对酒当歌回复

我手机 iPhone6P ios9.3.4，刚试了，是可以抓取的。你先用 appium inspector 去抓，主要是利用 appium inspector 去启动 WDA，完事后，你再试试这个工具。

对酒当歌 · #98 · 2018年07月03日

仅楼主可见

hello #16 · 2018年07月03日 Author

对

对酒当歌回复

应该没少啊，我明天试试 6。抱歉啊

对酒当歌 · #17 · 2018年07月03日

仅楼主可见

枫叶 #18 · 2018年07月04日

楼主，给你反馈问题来了，看看啥问题哈
Error while parsing UI hierarchy XML file: null[Ljava.lang.StackTraceElement;@3711cea6

19楼已删除

Smile #20 · 2018年07月04日

对

枫叶回复

同样的报错.....

hello #21 · 2018年07月04日 Author

对

枫叶回复

你安卓自带的 jar 这样启动能截取 xml 么？

hello #22 · 2018年07月04日 Author

对

hello 回复

LvmamaXmlKit.jar 要推到手机里，截图截取 xml 要用到

枫叶 #23 · 2018年07月05日

对

hello 回复

自带的正常

hello #24 · 2018年07月05日 Author

对

枫叶回复

LvmamaXmlKit.jar 这个 jar，放到手机里了么？

枫叶 #25 · 2018年07月05日

对

hello 回复

没有，我正在看你在 git 上的介绍，一会把这个 jar 包导入手机试试

枫叶 #26 · 2018年07月05日

对

hello 回复

为啥我这个小米的手机找不到这个目录 /data/local/tmp/

枫叶 #27 · 2018年07月05日

对

hello 回复

自己新建这个路径导入是否 OK

hello #28 · 2018年07月05日 Author

对

枫叶回复

shell 命令进手机里看看。不过文件管理找不到没有关系，执行那句命令，推进手机就好了。

hello #29 · 2018年07月05日 Author

对

hello 回复

复制 LvmamaXmlKit.jar 到本地 D 盘根目录下，打开命令行窗口执行命令：adb push D:\LvmamaXmlKit.jar /data/local/tmp/
只要这个命令执行成功，不报错，就是成功了。

枫叶 #83 · 2018年07月05日

对

hello 回复

好的

枫叶 #31 · 2018年07月05日

对

hello 回复

可以了

hello #32 · 2018年07月05日 Author

对

枫叶回复

好的，抱歉啊。我那个帖子重要的一点没有忘记说了。昨晚忽然想起来补上了。LvmamaXmlKit 这个是必须的

枫叶 #80 · 2018年07月05日

对

hello 回复

恩恩，要是能出一个针对 H5 页面定位元素的类似工具就更完美啦

hello #34 · 2018年07月05日 Author

对

枫叶回复

h5 的，在想办法了。

枫叶 #78 · 2018年07月05日

对

hello 回复

期待成品

hello #36 · 2018年07月05日 Author

对

Smile 回复

LvmamaXmlKit.jar 这个 jar，放到手机里了么？复制 LvmamaXmlKit.jar 到本地 D 盘根目录下，打开命令行窗口执行命令：adb push D:\LvmamaXmlKit.jar /data/local/tmp/
这个是取得 xml 和截图的关键所在

AItestwork · #37 · 2018年07月05日

仅楼主可见

hello #38 · 2018年07月05日 Author

对

AItestwork 回复

怎么加？

AItestwork · #39 · 2018年07月05日

仅楼主可见

逆流 #40 · 2018年07月06日

楼主，请问这是什么情况啊@3711cea6

hello #41 · 2018年07月06日 Author

对

逆流回复

Windows 还是 Mac ？
LvmamaXmlKit.jar 这个 jar，放到手机里了么？复制 LvmamaXmlKit.jar 到本地 D 盘根目录下，打开命令行窗口执行命令：adb push D:\LvmamaXmlKit.jar /data/local/tmp/
这个是取得 xml 和截图的关键所在

逆流 #42 · 2018年07月06日

对

hello 回复

放里面了，windows 系统

hello #70 · 2018年07月06日 Author

对

逆流回复

这截图是和抓取 xml 是成功了的感觉。感觉没有毛病啊、app 名字是什么。方便说一下么？我本地试试

逆流 #44 · 2018年07月06日

对

hello 回复

我就测试的时夜神模拟器里的相机

hello #45 · 2018年07月06日 Author

对

逆流回复

刚测试了一下。没有毛病啊。你再认真看一下操作步骤，看是否有遗漏
你先 SDK 自带 jar 的试试，自带的 jar 不行的话。那我这个工具也是不行的。

逆流 #46 · 2018年07月06日

对

hello 回复

还有一个问题是：我连接 hierachy viewer 时，不显示列表，就是没有那个小箭头

hello #47 · 2018年07月06日 Author

对

逆流回复

没有小箭头，这个我就不清楚了。这个工具我没有研究过。

逆流 #48 · 2018年07月06日

自带的可以

hello #49 · 2018年07月06日 Author

对

逆流回复

这就奇怪了、、、

逆流 #50 · 2018年07月06日

对

hello 回复

我在真机上测试时，也是出那样的错误，是我配置有问题吗？

hello #62 · 2018年07月06日 Author

对

逆流回复

方便远程看一下么？感觉没有毛病啊。很奇怪

逆流 · #52 · 2018年07月06日

仅楼主可见

hello #53 · 2018年07月06日 Author

对

逆流回复

可以啊

逆流 #59 · 2018年07月06日

对

hello 回复

算了，不弄了，我们测试主管不让我折腾了

逆流 #55 · 2018年07月06日

对

hello 回复

非常感谢你

hello #56 · 2018年07月06日 Author

对

逆流回复

yxiaohigh #57 · 2018年07月06日

我也遇到了上面的情况

yxiaohigh #58 · 2018年07月06日

平台是 mac

hello #59 · 2018年07月06日 Author

对

yxiaohigh 回复

Mac 电脑。先用 appium 自带的 inspector 试试看，看自带的能不能抓取。能够抓取时，在用这个工具，用的时间手机别锁屏

逆流 #60 · 2018年07月06日

对

yxiaohigh 回复

老哥，如果你的好了，@ 我一下，告诉我怎么弄好的，谢谢

hello 在 Ui automator viewer 无法获取页面元素中提及了此贴 07月07日 09:29

我是一个迷 #61 · 2018年07月07日

真机 :小米 MX2
看不到/data 目录下的东西

hello #63 · 2018年07月08日 Author 1 个赞

对

我是一个迷回复

真机看不到 data 下面东西正常，但是目录是确实存在的，实在想看那个目录的话，可以执行 shell 命令查看。执行命令后，是可以把文件推送到那个目录的，文件推送成功就可以了

乾行 #64 · 2018年07月09日 1 个赞

不得不佩服重新造轮子的同行，但是轮子已有，还不用小白用户安装客户端软件，直接在浏览器中录制。
可以看看 macaca 是怎么玩的，看懂了，录制就是一层窗户纸，一下就捅破了，除了对 macaca 进行二次开发，否则录制没有任何技术含量。

hello #65 · 2018年07月10日 Author 2 个赞

对

乾行回复

Macaca 虽好，玩家占比不多吧，Macaca 不需要安装东西？关键是 Macaca 那一套东西也不是我这样小白能看懂的啊。对你们来说是一层窗户纸，对我这样低段位玩家来说，简直是铜墙铁壁啊等你分享你的基于 Macaca 二次开发的工具哦

乾行 #47 · 2018年07月10日 1 个赞

macaca 的作者在社区里面很活跃，大家可以咨询一下

king.yu #46 · 2018年07月10日 1 个赞

对

乾行回复

其实就是 pagesource 的解析，可以先转成 json，然后前端用 tree 和两层 canvas 就可以渲染出 inspector 的效果了，没啥难度；

乾行 #68 · 2018年07月11日 1 个赞

对

king.yu 回复

同样的见解

逆流 #69 · 2018年07月13日

跟我报错一样的小伙伴，把 JDK 改为 1.8 后，完美运行！附官网下载地址：http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

山姆大叔 · #70 · 2018年07月15日

仅楼主可见

hello #71 · 2018年07月15日 Author

对

山姆大叔回复

好的。我看看一下

老中医 #72 · 2018年07月20日

能支持 H5 就太有爱了，感谢楼主分享，已点赞！

山顶冻人 #73 · 2018年07月20日

赞一个，很方便

我是一个迷 #74 · 2018年07月20日

对

hello 回复

我的是推送成功了...但是还是报错..

hello #75 · 2018年07月21日 Author

对

我是一个迷回复

ios 还是安卓？

我是一个迷 #76 · 2018年07月21日

对

hello 回复

安卓 mix2 用自带的可以

hello #77 · 2018年07月21日 Author

对

我是一个迷回复

米 2？我周一找个米 2 测试机试试，其实写代码时完全可以用模拟器啊。不影响在真机上跑的。

我是一个迷 #78 · 2018年07月21日

对

hello 回复

环境
java 1.8.0 Lvxxxxx.jar 推送成功. tools 也替换 uiautomatorviewer.
等下我用模拟器看看
麻烦大佬了

花开 #79 · 2018年07月25日

@success @test_y 运行报错请检查 /data/local/tmp/local/tmp/uidump 目录是否存在，因为不存在的时候，dump xml 的时候不会报错，但是 adb pull 的时候会会找不到 xml 报错，有些手机默认是不存在这个目录的

JamesChung #80 · 2018年07月26日

报错：Error while parsing UI hierarchy XML file: null[Ljava.lang.StackTraceElement;@14a3c4e3
Error while parsing UI hierarchy XML file: null[Ljava.lang.StackTraceElement;@14a3c4e3
环境：MacOS，SDK 自带 uiautomatorviewer 能正常使用。
LvmamaXmlKit.jar 的 jar 包已经 push 到/data/lcoal/tmp 目录