移动性能测试小菜的性能日记 4 (合格的性能测试报告)

心向东 · 2016年01月06日 · 最后由 annula001 回复于 2023年11月10日 · 10019 次阅读

本帖已被设为精华帖！

测试报告风波

小菜：大鸟，最近的那个 XX 接口测试完成了，发现了一个性能问题，我感觉自己萌萌哒
大鸟：哦？让我看看你的报告。

XX 接口 12 小时稳定性测试中，TPS 从 78 下降到了 18，应用服务器 CPU 从 50% 飙升到 95%，存在性能问题

TPS：

应用 CPU：

大鸟：你这报告给项目组发过去有什么意义？项目怎么要怎么优化呢？
小菜：我只是一个测试人员，发现 BUG 就可以了，优化是开发的事。
大鸟：我要是开发肯定 neng（第 4 声）死你信不信？来来来把测试数据拿来我来帮你分析一下。

12 小时稳定性测试时，XX 接口在执行 2 小时后 CPU 瞬间上升并且 TPS 急剧下降。

应用 CPU：

TPS：

CPU 上升后 Sys% 占用部分（红色）明显上升，怀疑系统处理部分压力上升，我们继续查看 IO 和 net 相关数据，发现系统 IO Write 在此时上升明显。

NET：
无图，待补
IO：

再登录到应用服务器，查看磁盘情况发现 App-log 磁盘已满。

磁盘空间：

此时可以初步判定问题原因为日志盘符在大数据量交易下爆满，导致 IO 频繁降低了应用的处理能力。

小菜：哈哈原来是磁盘空间满了导致性能下降了啊，这下可以交差了。
大鸟：交差个鬼啊，分析还没有结束呢。

XX 接口在执行 2 个小时即执行 2*3600*70=504000 笔交易后，产生了 20G 的交易日志量，日志磁盘空间不足后 TPS 下降了 70%，且 CPU 使用率达到 95%。
1 笔交易的日志产生量大约为 40KB 左右，建议项目组根据生产实际交易量调整日志策略。

大鸟：这样你的测试报告差不多才算合格了。一份好的性能测试报告不仅要标注缺陷问题，更要对产生的问题进行深入分析，并提出相应的解决方案。
小菜：这才算合格啊...看来我的性能测试道路还很长呢。

39 个赞

如果觉得我的文章对您有用，请随意打赏。您的支持将鼓励我继续创作！

打赏支持

共收到 53 条回复时间点赞

思寒_seveniruby #62 · 2016年01月06日 1 个赞

写的浅显易懂. 好文. 小故事大道理.

rasine #61 · 2016年01月06日

期待

MagicCube #60 · 2016年01月06日

期待

fengzhou #59 · 2016年01月06日

期待！

huan #58 · 2016年01月06日

赞，期待

zhangzhao_lenovo #57 · 2016年01月06日

赞，这个例子举得好。确实碰到过。

芳菲菲兮满堂 #56 · 2016年01月06日

期待

心向东 #55 · 2016年01月06日 Author

期待啥都写好了.....

卡斯 #54 · 2016年01月06日

棒棒哒

啥 #53 · 2016年01月06日

开了个会回来就看到 4 出锅了好激动谢东哥

曾晖斌 #52 · 2016年01月06日

期待，一个合格的测试是解决了几个 bug，而不是发现几个 bug（monkey 说的）很对

渣渣儿 #51 · 2016年01月06日

不错，很棒

—— 来自 TesterHome 官方安卓客户端

依旧 #50 · 2016年01月06日

东哥威武.....期待

among #49 · 2016年01月06日

还没完，稳定性还需要在跑下，最好加点空间或增加个自动清理日志的脚本。

心向东 #48 · 2016年01月06日 Author

#14 楼 @among29 没必要再跑一遍生产环境有自己的机制，只要给出 1 请求生成多少 kb 日志就可以了，架构师会去想解决方案的

among #47 · 2016年01月06日

#15 楼 @dongdong 这个清理，只是为了跑稳定性的时候需要，测试环境用就可以了。

心向东 #46 · 2016年01月06日 Author

当然如果觉得产生的交易量不够，那么就需要加大硬盘空间再来一次

心向东 #45 · 2016年01月06日 Author

#16 楼 @among29 不建议自己增加这种额外动作我们要真实的反映压力表现，万一你的清理脚本有问题或着因此产生奇怪的问题，你的报告会收到质疑。如果要清理也只在测试前做一次就够了

测试小书童 #44 · 2016年01月07日

请问用的什么工具生成的图？看起来很不错。。

心向东 #43 · 2016年01月07日 Author

#19 楼 @lose nmon 的分析软件 excel 写的

lovoro #42 · 2016年01月07日

都看了几遍了。

张可 #41 · 2016年01月07日

期待下一起

陈子昂 #40 · 2016年01月09日

写的不错

陈子昂 #39 · 2016年01月09日

文章不长，但内容还是很充实的，个人觉得这个对于有一定工作经验或者从事过相关工作的人看更好点，如果可以的话，建议可以写点原理，让新手性能也可以一样效果。

liao #38 · 2016年01月10日

很有趣！

—— 来自 TesterHome 官方安卓客户端

奔波灞波奔 #37 · 2016年01月11日

如果是一个很简单的性能问题，确实需要这样分析，如果很复杂，需要和开发一起分析。当然，无论是哪种，都需要详尽的报告作为支撑。

心向东 #36 · 2016年01月11日 Author

#26 楼 @syyk2009 是的测试的任务是尽量帮开发定位到某段代码甚至某行代码,后面就是开发的分析工作了.像小菜那样只是抛出问题不做分析那是会被开发唾弃的

kuailel45 #35 · 2016年01月11日

期待

其实我是一个QA #34 · 2016年01月12日

赞，期待

期待东哥出书。。。。

nonono #33 · 2016年01月14日

很浅显易懂受教了，能帮助开发解决 bug 的测试才是合格的测试。

—— 来自 TesterHome 官方安卓客户端

zjqzte #32 · 2016年01月15日

干货，上次我们就遇到这样的问题了，查看半天都不知道什么原因。

梁少 #31 · 2016年01月15日

颠覆了我对性能测试的理解，谢谢

Yunney #30 · 2016年01月20日

谢谢分享~

hello #29 · 2016年01月20日

不错。谢谢分享

Kenneth #28 · 2016年01月22日

~(≧▽≦)/~

听雨 #27 · 2016年02月03日

遇到过，看到这篇文章更加深了记忆

songz #26 · 2016年02月03日

东哥 v5,浅显易懂

bryan_johnski_walker #25 · 2016年02月04日

不错，东哥继续！

米阳MeYoung #39 · 2016年02月06日

性能测试需要考虑的东西太多面了，设计脚本，场景设计，硬件资源等等。而且还得考虑压测环境数据情况，这个也是非常重要的。例如你是 get 拿数据请求，从 100 个数据中拿 10 个和从 100W 个数据中拿 10 个还是很有差距的。你举得例子也经常出现，例如我曾经把缓存压爆了。就是场景没提前跟开发沟通，照成。所以设计时，需要多沟通。