WeTest腾讯质量开发平台天下大事必作于细，聊聊腾讯兼容测试的升级 “打怪” 历程

腾讯WeTest · 2017年04月21日 · 最后由陈子昂回复于 2017年04月22日 · 2189 次阅读

作者：lane，腾讯适配测试负责人、WeTest 专家兼容测试负责人
商业转载请联系腾讯 WeTest 获得授权，非商业转载请注明出处。
原文链接：http://wetest.qq.com/lab/view/305.html

WeTest 导读

互联网产品测试，测试的是产品质量，但也同时考验着测试者的质量。

什么是兼容性测试？指的是设计程序与硬件、软件之间的兼容性的测试，考验的是程序，软件，硬件三者的能力，缺一不可。而什么是好的兼容测试？我个人理解是一个双向检验的过程：“测试产品质量的同时，也在考验测试者的质量”。只有当两个 “质量” 都达标的时候，才是真正的测试通过。天下大事必作于细，我们从基础环节便严格要求，围绕质量高于一切的理念打造精品兼容服务。以下跟大家分享一下腾讯游戏兼容测试一步步走来的经历。

一、腾讯游戏兼容测试的源起

腾讯最早做兼容性测试其实是在端游时代，目标是为了给腾讯产品建立一道专业的测试防线，保证产品兼容性方面的质量。兼容测试可以说是见证了英雄联盟、天天爱消除、王者荣耀这些里程碑式的游戏崛起，也在路上修炼了自己的功力。兼容测试根据服务对象和测试内容可分为 2 大类：PC 端的兼容测试和移动端兼容测试。两者之间有着天壤之别，最大差别就是测试环境，PC 端游的玩家环境相对简单集中，所以兼容性测试环境易搭建，流程简单并且覆盖面广，所以，在功能测试通过后，兼容性暴露出的问题往往并不严重。以下主要介绍下腾讯移动兼容性测试团队是如何运作的。

二、建立最有效的 Top 用户机型库

从 2011 年手游市场起步，手机用户数量增长，每年超过 1000 款新机型的上市，安卓碎片化问题严重，移动游戏对兼容测试的服务需求越来越强。腾讯移动兼容性团队也随着不断调整和更新测试角度、方法和范围，投入专业测试人力，帮助产品发现和规避兼容性缺陷；

为了保障兼容性测试的有效性，甄选最能代表市场的测试设备成为了团队面临的第一个问题。测试设备选择需要一个科学的范围，很多人觉得测试设备越多越好，在不考虑其他成本的情况下这的确是一个无限接近正确的答案。而事实上这是一个不可能完成的任务，投入越多测试设备，测试成本的边际效应表现越明显。通过腾讯游戏大数据对机型和缺陷进行统计，我们选择了 TOP100 的测试范围，这部分机型在市场占比接近 60%，兼容性缺陷触发率在 70% 左右，硬件和品牌覆盖面完整，此外，这部分设备上发现的问题有一定代表性，也便于开发更有效地修复和解决问题，性价比综合评定下最高。在服务腾讯游戏的过程中也获得了项目组的认可，最终被应用到腾讯游戏的测试标准中。

为了保障每次测试项目组都可以拿到有效的 Top 机型，我们会定时采购来匹配动态变化中的 Top 机型库。除此以外，我们还会有针对性地去采购新上市机型，以便满足游戏的特殊需求，同时根据经验来调整测试范围。

三、“质量＞效率” 的测试坚持

腾讯兼容性测试团队大部分使用人工测试，其实测试成本非常高。

所以在早期，因为团队人力紧张，排期有压力的时候，我们也考虑过采购第三方自动化兼容测试服务。但实际用下来，效果上有几点比较难受：

1. 问题的准确性、完整性不足

我们团队反馈问题必须要求验证必现性，＞5 次 100% 出现才会归类为必现，还需反馈信息完整并且会根据市场占比评估出当前缺陷影响的人数范围，提出建议性的优先处理等级；而第三方服务会提出非常多的问题，需要测试投入精力去甄选出真正有效的问题，反而增加了确认工作的人力成本消耗。

2、测试深度较浅，核心功能很难覆盖

第三方服务一般会测试到新手引导，但其实腾讯游戏对兼容测试的需要至少是覆盖核心功能和主要场景的。

3、无法实现复杂操作

专业测试人员对缺陷的敏感度高，对缺陷定位准确。可以实现复杂操作步骤，如动作类、竞速类或随机事件。对音效、重力感应、AR/VR、智能玩具测试上无可替代。

整体评估下来效率有提升，但服务效果会有比较大的下滑。为了保障游戏测试的品质，也响应公司精品游戏的战略，在效率和质量 2 者中，我们最终选择了质量。我们愿意花更多的时间和成本把效果做好。

虽然兼容测试以人工测试为主，但我们始终也没有放弃对效率的追逐，团队其实也一直在研究自动化测试方案。其中，包括可以快速验证兼容的标准兼容测试，保障人工测试品质同时提高测试效率的多机同步助手；针对一些项目组提来的重度兼容需求，例如《王者荣耀》的 5v5 自动化测试，我们还针对性研发了 GAutomator 框架，获得 Unity 官方推荐，也是目前腾讯 unity 游戏的标配框架，被应用在《火影忍者》、《龙之谷》等众多项目的各种测试场景中。