周一要和公司分享,请各位大牛看看有什么地方不合适请使劲喷,由于本身职业是游戏 QA,所以关注点可能不同,信仰思寒的同学请随便打我但不要打脸!!!
中国移动互联网测试大会由 Testerhome 举办,今年是第二届。
Testerhome 致力于推广中国移动测试技术,维护的测试工程师均是兼职。
去本次大会的目的就是听他们吹牛逼,咱公司是肯定没有能吹这种牛逼的人,所以只能去外面浪,我不是针对某个人。
参加了本次大会,沃尔玛的急速反馈、应用宝的研发流程、淘宝的性能测试方案、阿里游戏的代码分析对我启发很大。
沃尔玛做到了人人皆 QA;应用宝可以根据研发流程,确定质量保证手段,解决问题;淘宝性能测试方案,做到了分解页面,拥有性能测试的 SDK;阿里游戏代码分析,是我们缺少的测试环节。
我们公司缺少这个体系,也需要这个体系,虽研发成本过高,但一旦成为体系,可节省 90% 测试时间,减少 90% 的人力成本,这是芒果 TV 的数据,也能成为我们的数据。
今后的测试方案改进方向为:增加研发人员的 QA 意识、加强研发人员的沟通交流能力提高研发效率、搭建性能测试数据分析平台,尝试搭建服务器接口测试及代码分析平台。
UI 自动化除使用 Testin 软件之外,将不再进行深度挖掘,除非有引擎支持。
序章:滴滴出行
客户端实际行为,QA 模拟服务器接收数据。
QA 模拟客户端行为,服务器接收数据。
通过以上方式,打通前后端。
查看程序提交的代码变化,着重测试代码变化的功能。
第一:沃尔玛—自动化测试与持续集成
沃尔玛没有 QA,他们人人都是 QA。
iOS 使用 appium 测试架构自动化测试 UI。
Android 使用 robotium 测试架构自动化测试 UI。
支持录屏并通过元素 ID 获得元素。
通过公司研发的测试后台,发起测试请求,并且多条 case 并发测试,每条 case 对应一个功能点,测试完成后会将测试结果返回至测试后台附带相关截图。
程序完成功能点后,执行自动化测试,10 分钟之内可获得测试结果,就是这么效率。
第二:芒果 TV—自动化测试
有完整的接口测试系统,基于 python 编写。
使用脚本控制网络连接状况,做模拟弱网络的测试。
模拟网络的功能已有 Facebook 的 Augmented Traffic Control(ATC),目前公司内部已成功搭建此环境。
项目集成 Jenkins 可持续集成并直接进行测试,自动化测试架构使用 appium,测试完成后会对日志进行自动分析。
第三:应用宝—质量保证体系
应用宝的研发模式为分散合流模式,合流和灰度频繁。
主版本双周发布,功能测试中多个需求并行。
功能测试中的需求独立开发测试,通过合流的方式合入主线。
每个版本灰度 50 次,合流分支 20 个,rebase30 次。
腾讯的方法很牛逼,小伙伴们表示都惊呆了,不想再多写了反正也是抄。
第四:新浪—移动端产品安全
数据安全:Activity 组件安全、Webview 代码执行漏洞、明文存储、模板交互、隐私数据、核心算法保护。
开发安全:安全意识、环境和测试安全、第三方 SDK 安全开发。
业务及接口安全:输入与输出、验证与授权、核心接口保护。
安全运维:配置错误、匿名、弱口令。
安全工具:漏洞智能检测。
项目需保证玩家不能刷货币、道具、修改战斗数值。
第五:手机淘宝—移动测试性能保证体系
使用统一的 SDK 测试应用性能,包含:应用启动时间、页面响应时间、流畅度、触摸 10ms 无响应率、功耗。
页面响应时间从 Activity OnStart 计时,计算 View 可见区域达到一定比例、后续布局次数、整体超过时间。
流畅度采用丢帧率算法,算法没看到。
功耗从流量和电量仪入手,关注静默状态下 CPU 异常消耗。
测试流程线下、灰度、正式。
状况评估:区分中低端机型、区分系统运行流畅度、区分 App 运行流畅度、区分界面性能。
设备硬件评分、系统运行评分、App 进程评分、App 界面评分。
预防性能:StickMode 检查、内存泄露、句柄泄露、ANR 检查,上报信息并分析。
可远程 Trace 指定机型设备,获得性能对比差异。
第六:testin
广告:我们公司的合作伙伴。
对于游戏 UI 的自动化测试方案目前来看是最划算的。
第七:360—Android 漏洞检测动态分析
activity dos,service dos 防御。
储存文件打开文件的安全。
抓包工具 Fuzz、Xposed 的应用
第八:迪原创新
广告:软件测试解决方案,有兴趣可了解下
第九:阿里游戏—持续交付与代码静态分析
自动从版本库获得代码并对代码进行分析与集成。
分析可自定义规则,如禁止调用的方法、空指针。
分析集成完成后给程序员发送邮件。
Docker 框架讲解。
第十:腾讯—Bugly 崩溃分析
腾讯精品游戏的崩溃率为 2% 左右,整体游戏行业崩溃率为 8%。
48% 的应用为启动崩溃。
多数崩溃由 NullPointerException、ClassNotFoundException 导致
只关注了部分数据。
十一:ThoughtWorks—移动测试 Mock 实践
可解决数据库不允许变动的解决方案。
十二:360—代码静态分析与自定义规则应用
感觉和阿里游戏的差不多。
细化了自定义规则(如不能打印类名)。
十三:支付宝—跨平台自动化测试架构 Macaca
PC 网页和移动端完美结合。
PPT 做的很棒,其他的 PPT 都很百度。
一个傲娇的程序员演讲很有意思。
十四:雪球—跨平台自动遍历技术的利用
思寒基于 appium 开发的 appcrawler,自动化遍历很棒。
↙↙↙阅读原文可查看相关链接,并与作者交流