活动沙龙 中国移动互联网测试大会—会后感

三羊 · 2016年07月16日 · 最后由 daivd 回复于 2016年08月01日 · 76 次阅读
本帖已被设为精华帖!

周一要和公司分享,请各位大牛看看有什么地方不合适请使劲喷,由于本身职业是游戏 QA,所以关注点可能不同,信仰思寒的同学请随便打我但不要打脸!!!

  • 中国移动互联网测试大会由 Testerhome 举办,今年是第二届。
  • Testerhome 致力于推广中国移动测试技术,维护的测试工程师均是兼职。
  • 去本次大会的目的就是听他们吹牛逼,咱公司是肯定没有能吹这种牛逼的人,所以只能去外面浪,我不是针对某个人。
  • 参加了本次大会,沃尔玛的急速反馈、应用宝的研发流程、淘宝的性能测试方案、阿里游戏的代码分析对我启发很大。
  • 沃尔玛做到了人人皆 QA;应用宝可以根据研发流程,确定质量保证手段,解决问题;淘宝性能测试方案,做到了分解页面,拥有性能测试的 SDK;阿里游戏代码分析,是我们缺少的测试环节。
  • 我们公司缺少这个体系,也需要这个体系,虽研发成本过高,但一旦成为体系,可节省 90% 测试时间,减少 90% 的人力成本,这是芒果 TV 的数据,也能成为我们的数据。
  • 今后的测试方案改进方向为:增加研发人员的 QA 意识、加强研发人员的沟通交流能力提高研发效率、搭建性能测试数据分析平台,尝试搭建服务器接口测试及代码分析平台。
  • UI 自动化除使用 Testin 软件之外,将不再进行深度挖掘,除非有引擎支持。

序章:滴滴出行

  • 客户端实际行为,QA 模拟服务器接收数据。
  • QA 模拟客户端行为,服务器接收数据。
  • 通过以上方式,打通前后端。
  • 查看程序提交的代码变化,着重测试代码变化的功能。 第一:沃尔玛—自动化测试与持续集成
  • 沃尔玛没有 QA,他们人人都是 QA。
  • iOS 使用 appium 测试架构自动化测试 UI。
  • Android 使用 robotium 测试架构自动化测试 UI。
  • 支持录屏并通过元素 ID 获得元素。
  • 通过公司研发的测试后台,发起测试请求,并且多条 case 并发测试,每条 case 对应一个功能点,测试完成后会将测试结果返回至测试后台附带相关截图。
  • 程序完成功能点后,执行自动化测试,10 分钟之内可获得测试结果,就是这么效率。 第二:芒果 TV—自动化测试
  • 有完整的接口测试系统,基于 python 编写。
  • 使用脚本控制网络连接状况,做模拟弱网络的测试。
  • 模拟网络的功能已有 Facebook 的 Augmented Traffic Control(ATC),目前公司内部已成功搭建此环境。
  • 项目集成 Jenkins 可持续集成并直接进行测试,自动化测试架构使用 appium,测试完成后会对日志进行自动分析。 第三:应用宝—质量保证体系
  • 应用宝的研发模式为分散合流模式,合流和灰度频繁。
  • 主版本双周发布,功能测试中多个需求并行。
  • 功能测试中的需求独立开发测试,通过合流的方式合入主线。
  • 每个版本灰度 50 次,合流分支 20 个,rebase30 次。
  • 腾讯的方法很牛逼,小伙伴们表示都惊呆了,不想再多写了反正也是抄。 第四:新浪—移动端产品安全
  • 数据安全:Activity 组件安全、Webview 代码执行漏洞、明文存储、模板交互、隐私数据、核心算法保护。
  • 开发安全:安全意识、环境和测试安全、第三方 SDK 安全开发。
  • 业务及接口安全:输入与输出、验证与授权、核心接口保护。
  • 安全运维:配置错误、匿名、弱口令。
  • 安全工具:漏洞智能检测。
  • 项目需保证玩家不能刷货币、道具、修改战斗数值。 第五:手机淘宝—移动测试性能保证体系
  • 使用统一的 SDK 测试应用性能,包含:应用启动时间、页面响应时间、流畅度、触摸 10ms 无响应率、功耗。
  • 页面响应时间从 Activity OnStart 计时,计算 View 可见区域达到一定比例、后续布局次数、整体超过时间。
  • 流畅度采用丢帧率算法,算法没看到。
  • 功耗从流量和电量仪入手,关注静默状态下 CPU 异常消耗。
  • 测试流程线下、灰度、正式。
  • 状况评估:区分中低端机型、区分系统运行流畅度、区分 App 运行流畅度、区分界面性能。
  • 设备硬件评分、系统运行评分、App 进程评分、App 界面评分。
  • 预防性能:StickMode 检查、内存泄露、句柄泄露、ANR 检查,上报信息并分析。
  • 可远程 Trace 指定机型设备,获得性能对比差异。 第六:testin
  • 广告:我们公司的合作伙伴。
  • 对于游戏 UI 的自动化测试方案目前来看是最划算的。 第七:360—Android 漏洞检测动态分析
  • activity dos,service dos 防御。
  • 储存文件打开文件的安全。
  • 抓包工具 Fuzz、Xposed 的应用 第八:迪原创新
  • 广告:软件测试解决方案,有兴趣可了解下 第九:阿里游戏—持续交付与代码静态分析
  • 自动从版本库获得代码并对代码进行分析与集成。
  • 分析可自定义规则,如禁止调用的方法、空指针。
  • 分析集成完成后给程序员发送邮件。
  • Docker 框架讲解。 第十:腾讯—Bugly 崩溃分析
  • 腾讯精品游戏的崩溃率为 2% 左右,整体游戏行业崩溃率为 8%。
  • 48% 的应用为启动崩溃。
  • 多数崩溃由 NullPointerException、ClassNotFoundException 导致
  • 只关注了部分数据。 十一:ThoughtWorks—移动测试 Mock 实践
  • 可解决数据库不允许变动的解决方案。 十二:360—代码静态分析与自定义规则应用
  • 感觉和阿里游戏的差不多。
  • 细化了自定义规则(如不能打印类名)。 十三:支付宝—跨平台自动化测试架构 Macaca
  • PC 网页和移动端完美结合。
  • PPT 做的很棒,其他的 PPT 都很百度。
  • 一个傲娇的程序员演讲很有意思。 十四:雪球—跨平台自动遍历技术的利用
  • 思寒基于 appium 开发的 appcrawler,自动化遍历很棒。
共收到 18 条回复 时间 点赞
恒温 将本帖设为了精华贴 07月16日 18:27

不错的总结。

非常全面的总结啊。开场第一个 walmartlabs 的演讲就让人眼前一亮不虚此行,很接地气。下午第一个阿里的也超级精彩。这两个安排的时间太好了。

总结的不错。很高兴提到迪原软件测试解决方案。更重要的是迪原的锐测盒子,用于企业移动 App 测试的私有云测平台。提高移动测试安全与效率的私有平台。锐测盒子能够实现公有云测的主要核心功能:深度兼容性,深度遍历和自动化测试。同时,私有部署更安全也更为灵活,增加了开发人员和测试人员的协作,提高了测试和诊断效率,还可以实现持续集成。

360 说的抓包工具记得就两个 fiddler、charles。 xpose 是 hook 工具,别的没有了,总结的不错。赞一个

#4 楼 @pingjing 测试盒子的理念很好。但是如果能基于小公司私有云定制,会更有吸引力,昨天还没有问过成本,这个测试盒子可以写个文章出来,和传统自己搭建实验室比较下。

#6 楼 @lihuazhang 谢谢你的建议,我们会尽快结合昨天会场反馈,写出详细文章,让大家深度了解

三羊 #12 · 2016年07月17日 Author

谢谢大家,今年年底计划搭建出公司的自动化测试平台,加油!

#8 楼 @hu7433438 加油

—— 来自 TesterHome 官方 安卓客户端

有没有 PPT 放出来?

赞 好多高质量 share

哪里有 ppt 可以下载呢?

感觉很赞,坐等视频

棒的很!!!精彩,真精彩...

大会有视频吗?想学习

各位,ppt 在网址里能找到

总结的非常不错呢!

那天下载了 PPT,感觉思想上收到了启发,楼主总结的非常好

需要 登录 后方可回复, 如果你还没有账号请点击这里 注册