原文链接:http://wetest.qq.com/lab/view/295.html

WeTest 导读

“315” 保护下的消费者,可以选择更好的商品;手游玩家,可以自由选择喜欢玩的游戏;然而手游开发者的利益却只能通过做出赚钱的游戏。而这一点,在 “手游精品化” 的大潮下,面临着激烈的竞争。


手游市场从 2015 年开始渐渐趋于平稳,“精品化” 概念已经成为手游重要的发展方向。国内手游行业存在着增速放缓、流量获取成本增高的情况。这种现状意味着,一旦手游质量发生闪失,同质产品会迅速涌入抢占市场(比如当前某爆款手游)。等手游开发者意识到质量问题并把问题解决后,市场已经落入竞品之手。因此,在如此市场格局之下,把控手游品质,似乎成为了手游突出重围,稳定增长的突破口。

哪些现象正在侵害手游开发者的利益

腾讯 WeTest 在参与制定腾讯游戏测试标准的十年过程中,看到太多手游开发者,因为游戏一两个质量问题在上升期跌了跟头,甚至因此出局的情况。每一个手游的问题都影响着手游开发者的利益,我们罗列了最常出现的几种情况:

游戏好玩,但不能玩——兼容问题
兼容问题是手游上线前最常见的问题
根据腾讯 WeTest2016 年全年测试数据得出,兼容问题出现最多的类型包括:安装失败、UI 异常、Exception、崩溃等四类。

Tactile Wars(触控战争)是由法国工作室 Ankama Games 研发的游戏于2015年8月13日正式在欧美地区发布,一周内拿到苹果 50 多个国家 (几乎是所有上线地区) 的首页 ‘最佳新游戏’ 推荐,而且曾一度达到了美国 iPhone 免费榜第二名,日均下载量突破 25 万。而一个月后,该游戏在美国的下载排名已经降到 475,并且呈持续下滑趋势。闪退、卡顿、崩溃等问题层出不穷,还出现了致命的设备兼容性问题,最终导致了 Tactile Wars 在市场中节节败退。
毫无疑问,这四个问题中的每一样,都足以直接让玩家放弃游戏。

游戏好玩,但玩不下去——安全问题
成功的手游很赚钱,如此火热的市场吸引了大量外挂、辅助、工作室等非法盈利团队,严重影响了游戏的收益、平衡,缩短游戏的生命周期。外挂对手游的危害包括以下几点:

手游外挂的八大危害

众多手游开发者从开发阶段就考虑到外挂的防护,像《部落冲突》、《梦幻西游手游》等游戏长期和游戏外挂做着斗争。

游戏好玩,但玩不爽——性能问题
对于手游来说,不同的现象代表着不同的性能问题,如下图:

如果说左边是玩家经常会遭遇到的表面现象,那右边则是基于手游性能深挖后的问题本质。
根据腾讯 WeTest2016 年的测试数据,手游内存问题在在低档机型上最为严重,角色扮演、动作冒险、飞行射击和网络游戏类内存超标现象比较明显。而在 unity 游戏中,有三成左右的游戏 mono 内存超标,值得手游开发者的关注。

手游全链路质量解决方案

为了避免上述质量问题给手游带来损失,腾讯内部对于手游研发的上线阶段,有着标准严格的流程,腾讯 WeTest*将其称为 “手游全链路质量解决方案”, 通过对游戏类型的评估,设置重要的专项测试节点*,重要的专项测试节点如下图所示:

腾讯游戏常用的手游上线标准流程

在这些专项测试中, “适配兼容测试”、“安全测试” 以及 “性能测试”,是手游上线前最重要的专项测试之一。为了让手游开发者对精品游戏的测试流程、标准及案例有更系统的认识,腾讯 WeTest 准备从 “兼容测试”“安全测试” 和 “性能测试” 开始,渐渐将这个测试流程服务对外开放。

手游全链路测试——专家兼容测试

手游上线前,必须对下面 6 个环节进行全量兼容测试:

全量兼容测试的 6 个环节

大版本更新阶段,至少也需要做到安装、启动、登录、新手引导 4 个环节的测试,方能保障版本质量。

如果是手游类 App,那么对于关键的游戏场景,还必须做深入的测试,以保障玩家体验。像《王者荣耀》这种现象级手游,即使是版本更新阶段,也会进行深入的兼容适配测试,并将关键战斗场景测试数次,以保障游戏品质。这也是《王者荣耀》得以在诸多同类产品竞争下保持市场领先地位的重要因素。那么做专家兼容测试的好处有哪些呢?

1、解决兼容测试中的人力问题
兼容测试中人工的壁垒是个大问题,针对这个问题,腾讯 WeTest 也提供了自动化测试和人工测试这两类解决方案。由于自动化测试并不能完全覆盖各个测试环节,腾讯 WeTest 目前还是坚持以人工测试和自动化测试结合的方式,力求实现最好的测试效果:
一般来说,除了少数大型游戏公司以及部分 “不差钱” 的互联网企业,很难有企业可以长期不间断地去维护专业的测试团队。即便有这样的测试团队,一般规模也不会很大,这就导致了测试周期被拉长,当发生较高频率版本更迭时(一般手游 1 个月 1 次大版本更新),为保证测试速度,测试质量难免会受到影响。

基于此,腾讯将内部游戏打磨近 10 年的专家测试团队、经验开放出来,供外部移动应用产品测试使用。

2、根据实际需求给提供差异化测试服务
目前 WeTest 专家兼容测试根据不同的场景深入情况,推出了完整版和精华版两套服务。
针对手游,我们推荐在手游上线前,通过 “专家兼容完整版” 完成深度的功能场景兼容测试,在上线后,对于不是非大版本,建议使用 “专家兼容精华版”,完成基础兼容性的验证。

了解更多:http://wetest.qq.com/product/expert-compatibility-testing

手游全链路测试——手游安全专家测试

在腾讯内部,通常在游戏版本转功能测试的阶段就介入了安全模块的测试。
腾讯 WeTest 的 SR 手游安全测试团队将审核的内容分为静态安全漏洞和动态安全漏洞。不同类型的问题测试思路和分析手段会有不同,对测试工具和测试方法也会有差别。

手游安全漏洞分析

1、静态漏洞扫描
主要通过静态扫描的方式,对游戏 apk 中配置档、资源文件、脚本文件、manifest.xml、so 文件,通过自动扫描的方式来进行检查项的确认。(目前此块内容已集成到 SR 手游安全测试方案中,覆盖了 120+ 条安全检查项和信息安全测试项)

2、动态风险分析
动态安全测试涉及的内容广泛,主要是根据游戏特定的内容和玩法,针对性地分析安全风险点,通过协议、函数、内存、脚本等技术,多维度检查游戏服务器对相应的风险点是否有完善的校验或反外挂策略。

根据对漏洞类型的提炼,SR 手游安全测试团队总结了根据游戏中的获利点而生成的风险点,然后在不同的游戏中,结合具体玩法,又推导出相应的获益方式。通常根据风险点分析的方式,可以完整覆盖到游戏中涉及到安全的部分,结合检查点,就生成了可以在实际操作中执行的用例,形成闭环。

手游安全测试对于技术的要求也是非常高的,需要专业的技术人员进行逆向分析和工具支持,否则上述的测试点很有可能是纸上谈兵,但毫不夸大地说 SR 手游安全测试已经拥有了这些技术积累。目前 SR 手游安全测试方案已经支持所有腾讯在研和运营的手游项目,依靠自身的技术积累来提高专业程度,持续保持漏洞的发现率。目前对外提供专家测试服务,希望通过提前发现游戏版本的安全漏洞,预警风险。
了解更多:http://wetest.qq.com/product/sr

手游全链路测试——客户端性能专家测试

腾讯内部对于手游性能的测试和监控非常重视,在新版本发布之前会再三确认性能是否符合发布标准。腾讯 WeTest 的手游性能优化团队专门开发了 Cube 工具来帮助用户发现手游的通用性能、资源以及 mono 内存等问题。

Cube 手游标准性能分析结果部分截图

Cube 资源报告分析结果部分截图

Cube 团队参与了《王者荣耀》上线前后的几个优化版本的分析,先后遇到过的问题和优化方法主要有下面几个:
1、由于实时对战游戏的数据包数量巨大,早期版本的帧同步策略会导致比较明显的卡顿,通过进行数据包的合并与优化逐渐解决了卡顿问题;
2、频繁创建和销毁的小兵对象让 CPU 爆表了,大量的小兵如果采用实时内存的分配和回收,会产生大量的内存碎片和系统开销,解决方法之一就是采用高效的对象池进行优化,对每个内存对象的状态进行操作即可;
3、性能分析过程中,发现单人同屏和多人同屏时的开销都很大,通过视野裁剪技术,使得玩家视野外的不必要的特效和渲染可以全部关闭,极大降低了 CPU、GPU 和内存的开销;
4、 在高中低三档机型上玩游戏时,分别加载不同层次的特效包,这也有助于降低 CPU 和内存的开销;
5、游戏内界面采用了 UGUI 的方式实现,但大量的实时 UI 变化使得副本内每帧会有 230 以上的 drawcall,导致中低端机型感受到明显卡顿,最终采用 UGUI+ 自研究 UI 的组合拳,重写了一套紧密结合游戏自身特性的 UI 来实现战斗血条和浮动文字的效果。

在对《王者荣耀》进行性能调优的同时,为了帮助手游开发者更快的了解自身游戏的性能现状以及改进措施,腾讯 WeTest 的手游性能优化团队除了开发自动化工具之外,也开放出手游性能专家测试服务,由手游性能团队直接分析出手游的性能问题,并协助手游开发者优化解决。
了解更多:http://wetest.qq.com/product/cube/

方案的实施

“专家兼容测试”、“手游安全测试” 以及 “客户端性能测试” 是目前 “手游全链路质量解决方案 “中重要的专项测试类目,手游开发者可以参照腾讯内部整个手游上线标准流程,选择最适合自己的测试类目,对手游进行优化。

以上这些功能,腾讯 WeTest 平台已经完全对外开放:
专家兼容测试:
http://wetest.qq.com/product/expert-compatibility-testing
客户端性能测试:
http://wetest.qq.com/product/cube/
手游安全测试:
http://wetest.qq.com/product/sr

关于 “手游全链路质量解决方案 “中的更多问题,欢迎联系腾讯 WeTest 企业 qq:800024531


↙↙↙阅读原文可查看相关链接,并与作者交流