WeTest腾讯质量开发平台 性能测试实践 | PerfDog 助力微信小游戏 / 小程序性能调优

腾讯WeTest · 2020年07月20日 · 1788 次阅读

概述

随着近年来微信生态圈的发展,小游戏,小程序也随之爆火,同样伴随着的便是对于小游戏/小程序的用户体验的严格要求,微信团队也在自家的微信平台推荐使用 PerfDog 测试小游戏/小程序的性能。

1.评测指标

从小游戏的运行周期来看,开发者必须主要关注启动和运行两个阶段产生性能问题。

启动阶段: 启动时长,该数据将显著影响用户打开留存率

运行阶段: 内存峰值、Crash 率、CPU 占用、流畅度、网络等

兼容性问题: 包括 JS 异常、黑屏等严重问题

Android 现网性能评测标准

Android 现网性能评测标准

2.评测工具

1.PerfDog:

可以使用 PerfDog 完成性能数据获取

运行性能:完成游戏主流程对局 5~10min, PerfDog 记录性能数据并上传,取平均值,每种机型测试 3 组数据再取平均,内存峰值取最大值。

启动性能: 采用录屏分帧方法获取,取 10 次测试平均值。

2.小游戏数据助手

也可以使用小游戏数据助手应用中的 “数据 - 性能分析” 获取现网玩家的性能采集数据。

小游戏数据助手:https://developers.weixin.qq.com/minigame/analysis/assistant.html

3.PerfDog 测试流程

1.运行性能数据获取:

首先我们用同一款手机测试 3 次小游戏的主流对局 5~10min,取均值,微信是多线程运行的为了更准确的测试,我们可以用 PerfDog 对小游戏的线程进行测试。

注意: 每次测试均要尽最大可能保证测试用例的一致性,记得区分游戏是否限制了帧率。我这里使用的是限帧 30 的小游戏。

我们可以使用对比功能查看详细的数据。

概览对比可以快速查看每组测试用例的数据。

基于以上的数据,我们算出 3 组测试用例的各项数据的均值如下。

FPS 均值 CPU 占用均值 内存峰值均值
23.63 25.2 387.2
我这里除了 FPS 有些不稳定,其他的性能数据还不错。

2.启动耗时

启动耗时微信推荐使用的是 “采用录屏分帧方法获取,取 10 次测试平均值”,同样我们可以开启 PerfDog 的截图功能,轻松获取耗时。

我在 00:06 启动小游戏,由于在 00:10 的时候进度条还有一部分没加载完,所以加载完成算在 00:11,本次的启动耗时就是:11-6=5(S)=5000(毫秒),需要注意是冷启动的耗时 !!! 也就是把进程在后台彻底杀死再启动的耗时。

这是我第二次测试的耗时。

由于 00:09 时未完成算 00:10,所以第二次耗时: 10-5=5(秒)=5000(毫秒),我们需要共测试 10 次,然后算出均值。这里就不一一放出截图了,最后算出来的均值再去上面的表格找到自己的标准就可以确定小游戏的性能情况了。

4.补充

小程序和小游戏的测试测试流程一样的。PerfDog 同样也可以测试 IOS 的性能,操作过程同样简单,感兴趣的可以自行测试哟!

围绕核心就是:

运行性能: 完成游戏主流程对局 5~10min, PerfDog 记录性能数据并上传,取平均值,每种机型测试 3 组数据再取平均,内存峰值取最大值。
启动性能: 采用录屏分帧方法获取,取 10 次测试平均值。

附上 IOS 的标准:

iOS 开发阶段性能评测标准:

iOS 现网性能评测标准:

附上小游戏官方文档:

小游戏性能优化:https://developers.weixin.qq.com/minigame/dev/guide/performance/perf-overview.html

暂无回复。
需要 登录 后方可回复, 如果你还没有账号请点击这里 注册