自动化工具 社区自研性能评测工具,欢迎试用!

TesterHome小助手 · 2023年12月12日 · 最后由 小武子 回复于 2024年05月24日 · 111198 次阅读

前言

由 TesterHome 和社区小伙伴们共同推出的一款测试小工具——PerfMeta 性能评测场景小工具。
作为一个致力于软件测试和质量保障领域的社区,我们一直在探索如何为广大测试人员提供更好的工具和解决方案,经过不懈努力,拉通社区小伙伴一起带来了一款性能评测小工具现在我们邀请大家一起来试用!

支持场景:

小工具支持以下几种测试场景

  • 应用启动耗时评测:评估应用的启动速度,及时发现潜在的性能问题。
  • 页面加载耗时评测:辅助分析页面加载的耗时,优化用户的浏览体验。
  • 播放速度场景评测:评估视频播放的速度,确保视频内容的流畅播放。
  • 黑花屏检测:识别黑屏或花屏现象,及时排查视频质量问题。

主要特点

  • 支持 95% 以上的性能测试场景: 深入研究了各种加载场景的耗时,确保能够代替人工精准识别各种场景的性能表现,满足测试人员的需求。
  • 识别精度超过 95%,与用户感官基础一致: 注重识别的精度,确保能够准确反映用户的感知,帮助测试人员更好地评估产品的性能。
  • 接入成本低,五行代码完成接入: 提供方便易用的工具,接入非常简单,只需五行代码即可完成,大大降低了接入的成本。
  • 流式计算,解析效率最高做到 8ms/帧: 采用流式计算的方式,保证了解析效率的最大化,每帧处理时间仅为 8 毫秒,让测试人员能够高效地进行性能评测。


欢迎试用

我们真诚地邀请各位测试人员和质量保障专家来试用我们的 PerfMeta 性能评测场景小工具。
您的反馈和建议对我们非常重要,它们将帮助我们不断改进和完善产品,以满足您的需求和期望。

试用链接:https://github.com/testly/perf-meta
PerfMeta 安装手册: https://docs.qq.com/doc/DUWZ4TXVtU3FYZ1Jx

欢迎入群交流,一起共建:
由于群已达上限,只能通过添加小助手进群~ 请小伙伴们加小助手吧

再次感谢大家的支持和参与!

TesterHome 社区技术团队

共收到 42 条回复 时间 点赞

欢迎小伙伴们试用😀

终于等到你,
之前腾讯 perfdog 出来,一片夸赞,等大家给其测完,就收费了,字节的也是试用一段,解散了,有其他家目前也是走腾讯先试用再收费了的套路
彼时腾讯开时的收费时,就有 testhome 论坛大佬说为社区做个社区版,没想到
真的实施了,
赞!!!

刚下载看下,主要是启动 页面性能,而很多从业者的需求包含资源消耗监控(CPU/内存/网络使用率),甚至这几项比启动以及页面渲染使用频率更高,这个后面会考虑加上吗?

秦岭 回复

目前社区这个工具,是从用户角度出发,来评测性能的,无倾入的。

好东西

好东西

基于视频流并不准确,TP 操作到事件分发被忽略,而且虚拟屏传画面并不等同外部摄像头,也是有本身的开销和传输影响带来的时间差,就看精度要求程度了,还是有偏差的。

浮云 回复

你说的不就是人眼的感官么

恒温 回复

并不是,真实硬件的性能测试是从触屏开始,模拟触控操作是事件注入,从操控上就产生时间差,scrcpy 传输屏幕开销也有时间差,这个方案本身就不能等同真机性能测试,所以首先对结果的阐述要说明这点区别;所以基于真机的机械臂 + 触控 + 摄像头的外部硬件性能测试的客观性才有它的市场

对于忽略以上因素和脚本本身资源开销影响,这个方案只是内部取数据评估也有一定意义,尺子相同,可以讨论问题;相对于客观的机械臂,相对准确的响应时间:起始可以从 getevent -lt 拿到,结束可以从目标 Output Layer 的 vsync 拿到(dumpsys SurfaceFlinger --latency “Output Layer 名”),其实相对客观准确的响应时间是这个

再有真实的性能测试其实服务于提出问题或客观评估,手机做 rom 的客观评估大多用机械臂结果,毕竟卷的厉害,出个客观结果也是用于发版评审或竞品对比;做 app 的其实对响应时间的容忍度大多很高,有个可接受内部底线,控制在底线内即可;往往流畅度、卡顿的抱怨和优化需求反而更高,相对于响应时间,帧率和流畅度评估往往更容易出 bug 要求优化;再有就是 rom 层面平衡资源占用,要求瘦身,更多是用到负载类数据;综上,单搞响应时间工具被应用的场景,频率都不算很高,产生有意义的 bug 的产出完全看各项目的容忍度

浮云 回复

学习了。不过本质上,只要尺子一致,对比还是客观的。也是性价比比较高的一种手段。

浮云 回复

“相对于响应时间,帧率和流畅度评估往往更容易出 bug 要求优化” 这句话不同意哈~ 要回归到用户视角,响应时间长是比较直观影响用户体验的,反过来说帧率 30 帧以上 40 帧提升到 50 帧对用户影响不一定大

当前是只支持移动端 APP 吗?Mac 或者 Windows 应用软件支持不

testly 回复

其实 app 的响应时间相应 case,大多结果控制在秒级,顶多关注到 100ms 级别的优化,一般刨除和收益相关的广告之类的影响,底线之内,容忍度很高;
流畅度≠帧率;基础帧率满足后,帧率的稳定性决定流畅度,其实流畅度的优化是拉高均值,和拉平波动,卡顿优化主要在这,相关 bug 也出现在这里,平均帧率低或帧率波动,用户明显感知

其实性能优化往往是在功能需求实现的后期,大头是降低 cpu 和内存占用,响应时间和流畅度是看看是否超内部标准(如果有),再有就是 “民不举官不究”,先有抱怨再有专项优化,这是在项目上往往会面临的 “倒挂” 状态

大鱼 回复

看只要可以录视频就可以用

二维码失效了

赞,试用下看看

不会用到后面收费吧?

试试看,好用就继续

提示,上传接口提交失败由于服务器资源问题,每月使用额度有限,如当前无法正常使用,请联系管理员处理即可😂

Emma999 回复

原来注册账号就可以继续使用了

Mac 电脑 brew 无法安装 openjdk@8 的情况下,可以先下载 javafx,然后使用命令:java --module-path [本地路径]/javafx-sdk-17.0.9/lib --add-modules javafx.controls,javafx.fxml -jar perf-mac-1119.jar 启动,亲测有效

21楼 已删除

卡在这里是什么原因?

看到 scrcpy 就知道不靠谱了

必须点赞

点赞

智能硬件目前这块有方案么?

以前在腾讯游戏外包公司,当时使用 perfdog 测试腾讯和竞品的游戏,测试后的性能数据上传到平台,后面 perfdog 获得中国计量院的荣誉后就商业模式了,

像性能测试 perfdog、弱网测试 qnet,希望有复刻版可以使用

我的观点也认为:基于视频流并不准确,基于录屏的操作场景并不代表实际的操作帧率情况,举个例子:目前最佳的 Scrcpy 录屏的最大帧率 120fps,在实际操作时大部分使用 60fps 甚至更低,而现在的大部分新款机型会超出这个帧率。像上面大佬的想法基本一致采用外部摄像头与启动事件时间戳来对启动性能做评估,可能会是一个比较合适的方案。

小程序能用嘛

34楼 已删除
仅楼主可见

找到一个免费的 ZtestPerf,试了下和 perfdog 比略有不足,基本能满足需要
http://www.ztest.cn/tools/performance

为何我的 mac 启动工具后界面展示空白,控制台也没有看到报错信息


Sutune 回复

你的 Jdk 是 11,请用官方 8.x

mac 执行 java -jar perf-mac-1119.jar 报错 Error: Invalid or corrupt jarfile perf-mac-1119.jar
下载下来文件自动变成了 perf-mac-1119.jar.baiduyun.p.downloading,强行去掉后缀改成.jar 文件的

yxtong 回复

使用 github 网盘地址里面的包啊

mac 账号登录界面,一输入,就一直转圈了

还有很大的空间提升,适用范围太窄

小助手有空帮我审批下积分兑换

需要 登录 后方可回复, 如果你还没有账号请点击这里 注册