活动沙龙 2016年 移动互联网测试大会 观后感

陈子昂 · 2016年07月17日 · 最后由 shane 回复于 2016年07月18日 · 95 次阅读

自我介绍早年走了不少弯路,认证 xx 架构师,目前在游戏产业,负责公司各项目测试内容,对其他类型测试有一些涉猎和一些小心得,是 testerhome 的坚持拥护者之一
来的时候快 9 点了,大会现场已经人头涌涌了,找了一个位置和同行的夜兔君一起认真的观看本次大会,目前写下的一份观后感可能存在内容遗漏和理解失误,届时欢迎纠正。

  • 大会的确花了不少心思和投入,做为 1 个公益社区已经很不容易了,点赞,参加完这次大会给我的感受是收获满满的,以下内容非点评,只是写出个人感受,可能对感兴趣的带有部分感情色彩。

会议内容&个人感受如下

1.上午:WalmartLabs 实验室

-开发了 1 套可以执行和管理自动化用例的平台。
-并且集成了网络终端云手机的服务或者是自己连线手机,用于线上环境的测试。
-并行化 - 手机数量执行,反馈结果在平台内,包含错误截图,报告处理和跨进程处理(requset-和应该也支持反向的吧?)。
-Robotium 的 demo 演示,支持定位查找,断言机制

个人感受:可以看出云技术从 6 年前的构想到目前已经深入 IT 产业,这块业务也有不少公司在做。WalmartLabs 实验室无疑是佼佼者,并且他们在大数据和集群环境上造诣也是很高的。
Webview 的自动化平台可以基础功能一体化,还可以跟踪结果和处理结果,解析.xml 去定位元素,这块目前游戏产业目前是没有的,是比较羡慕的。
Robotium 那段老外英文大概只听懂了 1 半左右,离的又远,大体来说这套自动化框架可以实现的内容我是比较心动的。


2.芒果 tv 自动化

-讲解了芒果 tv 商店应用到视频的业务测试点
-芒果自动化前端操作及验证到哪一步,用智能电视的调拨器来模拟电视选择操作。
-模拟网络的环境,我想肯定应该还有别的。
-项目集成自动化,日志参与分析体系。

女孩子主要是负责自动化这块的,可能比较紧张,可以看的出芒果自动化是可以落地到业务流的,电视视频展播到广告。
Log 测试和环境,集成用例执行这些都是测试必备的。

个人感受:这里讲的虽然是基于商店,但电视的话我有一些题外话,之前有涉及从机顶盒研发测试到后续 目前硬件已经换代,安卓电视虽是安卓系统,但适配各项驱动技术(多媒体框架,控制技术,显示图形技术)更难,安卓碎片问题虽然解决了,但在电视领域存在。国内智能电视机除了安卓还有就是自建平台 + 安卓,大部分都是 64 位,少数 32 位。
要确保电视机和应用本身及扩展内容,测试产业需要对 ARM RISC 架构处理器,了解单双芯片和集成电路等。


3.腾讯应用宝质量保证体系
-主要是讲版本控制和管理,准入标准,主干和分支合并。
-处理耦合,合并检查特征。
-腾讯的分散合流模式。

个人感受:这里内容虽然包含了一些业务流,这个怎么说呢,感谢分享,不是新技术,但腾讯是把版本控制的一些概念转化成可落地的分享了。
现场我坐在下面感受到还是有不少人不明绝厉的。有腾讯强调下这块还是很重要,还是会引发重视,多版本客户端服务端如果都没有分支和合理的控制手段,如果在我们公司没有几乎是崩溃的,因为一周 3~5 个版本不一样节点的版本加上各语言渠道包要出是很普遍的,一年多少个版本可以算算。


4.移动端产品安全
-数据完全:插件安全,代码执行漏洞,明文处理
-xss 跨脚本攻击

个人感受:对安全还是比较敬畏的。Xss 之前也是看刺同学的《白帽子 web 安全》,但这块内容感受不深,只是知道游戏产业一些东西就算报了也没人修的,一些互联网公司版本匆忙,估计也存在这类问题,没修没修然后忘记了。


5.手淘移动性能保证
-覆盖面比较多,基本上是有纵向后,在根据内容深度拓展。
-有 1 个新技术用于,应该是说业务接口统一后,app 线上用户行为转换城测试用例,用于其他 app 线下验证。
-版本 + 专项内容集合在一起进行测试,自动化支持版本交付时的快速验证。
-专项部分除了普遍的还提到了触摸 10ms 无响应率,计算 view 可见区域(这个网页测试知识被用到手淘了),draw call
-良好监控体系,性能指标阀值。
-性能基准测试体系

个人感受:晚宴上也听到手淘负责人讲述一些当前团队故事,可以看的出技术导向和有计划的培养提升后,测试还是可以参与做很多事情的。
整体都有强调遍历深度和宽度的内容,也强调了 robust.
关于模拟的问题,已经 web 方面有人做过,但是对于这块自己研究过没有进展。如果可以多 app 使用后采集行为在交叉,用例库带来的用例覆盖率可以说是可怕的。
触摸 10ms 无响应率等可以用于验证用户体验和失效性分析,draw call 等一般在我门产业是引擎测试才用的,手淘的确挖掘的很深。
性能基准测试体系这段的确做的很详尽,佩服。


6.Testin
感谢他们赞助了这次大会。Testin 起码也是在为测试呐喊做贡献,起码让更多的其他产业的人知道测试做什么的,至于测试产品方面亮点和内容都有,我觉得更多测试专家们,可以在慢慢修改外界观点,再次感谢他们。
个人感受:同上内容


中午吃饭
-2 楼自助餐 大会在酒店里的自助餐

个人感受:味道不错,但是人很多一个桌子都不认识,也不太好意思吃的多。


7.下午 安卓漏洞检查动态分析
-文件打开安全
-基于嗅探和 socket 二类抓包
-其他有部分没听到,进场晚了。

个人感受:https 微信也是可以抓包的。安全方面我还是比较敬畏的,所以个人观点来说没啥想说的。
游戏版本这块关注的还是 通过饶开 c 验证 s 是否支持验证(消息保护和拒绝处理机制),内存寻址和加密,资源和关键函数,主工程目录混淆等。
官网是防火 ddos 等。


8.阿里游戏持续交付和静态代码检查
-静态代码检查 自定义规则后排查出来然后分优先级处理
-docker

个人感受:从版本库 git 取代码到分析集成,阿里还是做的很正规的。
静态代码检查,如果只把分析结果直接啦给程序,程序内心是崩溃和产生纠纷,这里的方法很好,把优先级高影响崩溃的进行处理。我选择是在单元测试开始就做。
Docker 的话阿里把部分环境交给测试来做,这点我觉得还是很好的。


9.迪原创新
感谢赞助大会,属于企业级整包测试与服务,老板前文思海辉的。
个人感受:期望外包一体化的,也是成长型企业,总之都挺不容易。


10.腾讯-bugly 崩溃分析
-异常上报,运营统计,还可以定位内存泄露
-crash 率和 anr 这块数据统计并且影响多少人数

个人感受:腾讯的这些内部工具转化成产品后都不错的,并且支持大部分平台。异常上报的内存部分使用了一些 hook 的技术,小公司一般使用异常丢在日志服务器上,也是可以查看的。
crash 率和 anr 这块在很多公司都没有重视。


11.移动测试 mock 实践
-mock 垂直落地的一些方法。
-告诉 mock 在版本变更中间过程时,需要调整 mock 脚本。
-mock 实例 绕过验证。
-可解决不变动数据的测试流程。

个人感受:很实在的演讲,mock 也做了实际例子和说明了缺点,对于开发过程中的确可以让测试先行起来和可以快速验证一些接口是否通畅。
维护性问题,虽然不用小至代码块变更都需要维护 mock,维护相关业务的关联部分也是必须的。
本人在 mock 测试打算客户端模拟服务器时间修改和活动自动开启关闭验证结果最后失败了。


12.跨平台自动化测试架构 macaca
-macaca 由于 pc 和移动端运行需要 2 个服务端,老外无法解决的,macaca 解决了。
-macaca 试演

个人感受:果真是没有优化就没有进步,这部分因为游戏业务问题没接触过,但的确很动心,但是目前我不会。

13.雪球 跨平台自动遍历技术利用
-基于 appuim 开发的
-appcrawler 设计概念
-appcrawler 满足业务需求

个人感受:遍历就是好东西,因为之前无法遍历。很多策略都是为了降低测试内容来尽可能提高质量,上面手淘那块讲的其实也是遍历的概念。
一些东西也是我想做的,但是没做到的。Ui 和代码 diff,我的眼睛就不用瞎掉了。Ui 通过变更后的色彩比对,正则比对,构思思考过是可以落地的,并且这套也会开源,到时候一定要学习下。


参加完大会觉得天行健,君子自强不息,明年我希望自己也可以带来分享,关于硬件驱动测试方面的。

如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!
共收到 14 条回复 时间 点赞

vr 的测试就靠你了。

#1 楼 @lihuazhang 😅 一直在修改 markdown 中。你说的 vr 测试靠我 压力好大,我今晚会睡不着的、

#2 楼 @jiazurongyu 明年肯定要上 vr 或者 block chain,或者深度学习这种方向的测试 topic 了。

#3 楼 @lihuazhang 我只能说努力吧,我先从 ar 入手。本月会买些硬件工具

#3 楼 @lihuazhang 一看到 bolck chain 就联想到了 BTC,难道你们是做这个行业的?

总结分析比较全面,实在。不偏不倚。谢谢对迪原创新的认同,一点儿小纠正:迪原管理团队及老板 CEO 来自前海辉软件(国际)集团,在纳斯达克上市,后来离开之后才与文思合并,我们与文思没有交集。老板石武太先生在测试领域 20 年,属于最懂测试的人。

#6 楼 @pingjing 喔啦明白多谢告诉勘误,测试服务一体化很多公司都采用的,加油。

—— 来自 TesterHome 官方 安卓客户端

#4 楼 @jiazurongyu hololens 要入手了么

匿名 #9 · 2016年07月18日

我是小白,讲师们讲的挺好的,就是每个讲师讲的时间太短了,听的不够尽兴。

手淘有详细的资料介绍吗?

—— 来自 TesterHome 官方 安卓客户端

#8 楼 @anikikun 我是入手万用表和买一些铜丝线路嘿嘿

—— 来自 TesterHome 官方 安卓客户端

#10 楼 @dvdface 官方会有 PPT 的,稍等注意留心官网

—— 来自 TesterHome 官方 安卓客户端

#9 楼 @EatMango 讲师时间每个人上台时间有限哇

—— 来自 TesterHome 官方 安卓客户端

总结的真好,简直是我们小白的福音

需要 登录 后方可回复, 如果你还没有账号请点击这里 注册