研发效能 关于能效工具的一点点小想法

Kevin.zhao · July 01, 2021 · Last by Kevin.zhao replied at July 06, 2021 · 4208 hits

一直在思考怎么是一个好的能效平台,最近在面试也和很多面试官交流了一下。
有很多心得,总结了一下
一.目地明确,确实能提高效能,不能为了 kpi 而平台
二.放眼整个产研团队,不要只关注测试
三.发现流程中的痛点,为团队解决实际问题
四.量化数据,提升效率到底提升了多少,用数据说话

发布平台
服务和版本进行关联, 单元测试自动执行,自定义发布服务的先后顺序,自动执行 sql 和脚本,发布成功后自动构建自动化测试报告,达到多套环境一键发布
版本,hotfix 有详细的看板统计,在哪个环境,用时多少

自动化测试平台
自动化测试脚本及报告管理
自动触发日常回归测试
接口
mock api 文档 api 自动化 相互关联
根据 api 文档自动正交生成 case,根据参数取值范围采用等价类边界值等方法自动生成 case
api 和版本关联,当前版本 API 变更可以第一时间知道
手动生成测试用例集执行测试,报告持久化,记录执行时间,覆盖率统计 (代码,场景)

数据工厂平台
业务场景相关测试数据管理
提供批量生成/全量重置测试数据的能力

性能测试平台
支持多场景组合的性能测试
提供快速性能测试能力

流量回放平台
线上流量采集/线下回放
结果自动比对
热力链路分析

故障演练平台
模拟生产故障
定期进行生产演练
演练过程分析

代码覆盖率平台
提供单元测试/接口测试的代码覆盖率
可视化查看覆盖率结果

大数据/算法质量平台
实时线上数据质量巡检
灰度空跑及回放/仿真

共收到 7 条回复 时间 点赞

有道理

都是挺好想法。前 4 个点也很认同。现在为了 kpi 而做的平台已经越来越少了,也是一个好事。

个人觉得除了看到有这些业内有成功经验的能效平台外,还需要关注是否适合公司当前的业务,落地的 ROI(投入产出比)是否合适。上面提到的平台很多都是外部分享的常客,但有不少目前没有对应的可开箱即用的开源实现,所以对于不少公司来说,需要自行开发的部分不少,成本还是不低的。

比如流量回放平台
主要成本:找到运维 + 开发进行对应系统调整及接入,以及结果比对里如何有效降噪。由于业内目前没有什么开箱即用级别的开源工具,需要自行整合和适配自己公司的基础框架,开发成本会比较高
主要收益:对于已有流量的接口,可以快速构造对应的真实测试用例
ROI 最高的场景:接口不变情况下的系统重构/代码持续优化
总结:如果接下来有大型的系统重构,或代码持续优化是开发团队比较关注的点,且一直会占据一定的比例,带来一定测试工作量,适合使用。如果没这类场景,或者这类场景比重较低(基本都在做新功能,不怎么还技术债),投入产出比不高。

比如代码覆盖率平台
主要成本:测试环境的覆盖率数据接入、覆盖率统计平台开发、个别个性化能力的开发(比如增量覆盖率、多版本覆盖率合并等)、测试人员额外投入时间分析未覆盖点风险。
主要收益:覆盖率可以作为测试范围是否充分的参考指标;未覆盖行的分析可以辅助发现漏测点。
ROI 最高的场景:测试全面度的指标统计、测试末期的未测试点补充
总结:团队对质量要求较高,不仅要求需求点都有测试,且要求开发的一些功能点(比如异常处理流程)也需要覆盖时,收效会比较明显。如果还没到达这个阶段,或者相比精细化测试更关注快速交付,不一定适合。

感谢大佬回复,确实要跟根团队的实际情况来,目前来说就发布平台,自动化测试平台,其余的目前还只是一个想法

补充一个在实际中用处特别大的平台:环境部署管理平台。
主要提供能力:
1、快速部署单个应用(在部署里面融合流水线做各种卡点)
2、根据当前客户端绑定的环境,自行切换路由能力(比如完整系统是 a+b+c,本次需求只改了 b,那这个需求专属环境只需要部署 b,a 和 c 自动用公共环境里已有的)

这个平台在团队并行需求多的情况下,能非常有效提升效率,彻底解决测试环境少了不够用、多了部署和维护成本高的问题。

陈恒捷 回复

谢谢大佬指点,学到了

Kevin.zhao 回复

客气了,后面可以在社区持续交流。不仅是技术,也可以是一些提效的小技巧。

很多时候,通用性强(外面各种分享常见的基本都是这类)的工具,成本也不低。针对特定业务特定场景做的一些小工具,小改进,反而效果会更明显。

个人觉得,对于能效领域,工具平台都是辅助工具,关键点还是思想思维。比通过工具来提高测试效率来得更有效的,是通过需求分析、技术设计直接降低工程的复杂度,进而减少测试、开发工作量。

陈恒捷 回复

好的多多交流

需要 Sign In 后方可回复, 如果你还没有账号请点击这里 Sign Up