小陈同学在 2023 年做了个测试平台,在企业内部落地推广了,自我感觉还不错。在年终汇报的时候,领导希望他能够提供一些真实的使用数据。小陈只是简单地提交了一些沉淀的用例数、测试报告、执行情况等专业的业务数据。然后领导来了个灵魂拷问:这个系统哪些功能点用户用得多?明年你打算如何改进已有的功能,让更多的人使用?
这其实是很多做平台的测试人都会遇到的问题,如何更好地运营自己的平台,除了专业的业务数据(这些数据其实还有一定的欺骗性)。在平台改进的过程中,除了业务优化外,还需要结合用户的使用情况,针对核心的、热点的功能进行重点优化。
所以,需要做好埋点数据,让更真实的数据说话。
在自己过往的经验中,有三种办法可以快速实现,和大家分享下。
最简单的,就是基于 Nginx 的日志配置,快速获取用户的访问路径及频率。在 Nginx 的 access.log 中,增加如下配置即可:
输出的结果如下:
127.0.0.1 - - [26/Mar/2021:21:42:52 +0800] "GET /code/tone/measure_backend/ HTTP/1.1" 200 0 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.82 Safari/537.36" 0.001
127.0.0.1 - - [26/Mar/2021:21:42:56 +0800] "GET /project/PAAS/plan/tree/0 HTTP/1.1" 200 555 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.82 Safari/537.36" 0.000
然后通过 Shell 脚本就能快速知道排名前 10 的路径和停留时长。还能获取到用户的浏览器信息,有助于做兼容性测试。
PS:这个办法其实也是早期做性能测试用户流量分析的基本套路,还能计算真实的 PV。常用的变量可参考官网:http://nginx.org/en/docs/http/ngx_http_log_module.html#access_log
第二种方法,就是基于切面编程思路,在 Controller 业务访问的入口,增加一个 AOP,用于记录用户的业务行为。
Audit 的简单实现如下:
这样就可以记录用户行为了,还可以针对 Audit 做更多的扩展,灵活度更高。
如果企业内部有统一的埋点平台,那就更简单的,直接对接接入就好。省时省力。
PS:上图是某系统上线 1 个月后的访问情况,是不是很惨淡?虽然它业务沉淀的数据还不错,但是一直都是那么几个人在用,整体的浏览次数也不高。很难说是个有用的系统。
埋点数据能够比业务数据更真实地反馈系统的实际价值,因为业务数据是可以通过批量导入、设置无效数据、生成脏数据等方法制造出来。但是通过埋点数据的梳理,确认高频的 URL 分析,高频的用户 IP 分析,高频的 User-agent 分析,有助于产品、研发、测试更好地了解系统的真实使用情况。
测试人员为什么要懂这些呢?在不能直接接触更多的真实用户情况下,通过埋点数据的分析,测试人员至少有以下几点收获:
可以更好地了解用户行为,那就可以更专注地构建测试场景,把更多的精力放到核心页面功能上;
为探索性测试提供用户路径,测试更多的场景;
获得用户使用行为习惯,为后续的性能测试场景构建打下基础;
对于自己研发的平台,也能有更好的数据说明,有利于画饼;
小陈同学遇到的灵魂拷问问题也就有解题思路了~
共勉。