zz from 阿里巴巴技术质量,AlibabaTechQA,阿里巴巴 QA 官方技术号,呈现阿里巴巴质量领域最新的技术发展和创新。
一线开发同学,可能都或多或少地造成过线上 bug 甚至故障;也会遇到这样的场景,某同学在开发某功能的时候重构了代码,造成了线上 bug 或者故障;在开发某个功能时,发现需要修改公共逻辑,害怕影响到其他功能,非常不雅观地拷贝代码,重新写套单独逻辑来支持。
上面这些情况,都包含了一个关键的问题,无论是功能开发还是逻辑重构,如何来保障代码开发的质量。保障的手段,每个人都知道,就是测试。首先是新功能测试,保障新功能逻辑正确;其次是回归测试,保障原有业务功能逻辑正确。测试的方式,一般是两种,人工测试和自动化测试。随着测试技术和工具的持续发展,人工测试比例逐步降低,被自动化测试逐步替代。自动化测试是可持续和可重复的,甚至是可 AI 化的。
测试也是分层的,如下图所示:
在一个系统内,自动化测试一般分单元测试、模块测试和接口测试。
单元测试
目前我的应用代码基本都是基于 spring 框架面向接口这种编程模式,单元测试已被弱化。单元测试的要求基本上是单个类单个方法的测试,在我们当前模式下,编写成本太高。当然,如果是一个工具或者一段比较内聚而又复杂的逻辑 (例如算法逻辑),还是应该使用单元测试来保障逻辑的正确性。
模块测试
在系统比较大、模块比较多的情况下,可以建立模块测试层,保障各模块功能的正确性。不过当前的系统发展趋势是微服务架构,因此模块测试层并非十分必要,可以通过接口测试层来覆盖。
接口测试
个人觉得准确来说应该叫入口测试,这一层,是从系统入口出发进行集成测试。应用入口通常是 HSF(一个分布式 RPC 服务框架)服务,消息,定时任务。
作为开发,测试手段千万条,接口测试不可少。在我们应用的接口测试有效且覆盖完整的情况下,不仅能保障我们新功能的开发质量,还能让我们在修改功能逻辑的时候有回归的能力,同时这也是我们做代码重构的前提。同时,易测性也是代码结构合理的一个指标,如果发现一段代码编写测试脚本困难或者无法测试,那就说明当前代码结构不合理需要重构。接下来,我将主要谈一谈接口测试的有效性。
基础原则:
以上的基本原则应适用于所有层的自动化测试用例,在编写接口测试时,除了上面这些原则,还有其他原则需要遵守,先看一张图:
从系统角度来分析入口调用,以 HSF 服务为例:
有效接口测试的关键原则是要覆盖所有入口,mock 所有依赖,校验执行过程中所留下的痕迹,总结如下:
在编写测试代码的时候,也应跟写业务代码一样,考虑代码的可读、可扩展、可复用性。同时也可以根据系统的业务特性,在测试框架的基础上封装适合当前系统的测试组件,提高测试代码编写效率,规范测试代码结构。
一个接口的测试代码,大概的结构如下:
1 测试准备
依赖数据准备
很多时候,我们的测试有数据依赖,可能是配置数据,也有可能是业务数据 (例如退款需要依赖支付数据)。
依赖 mock
对于外部依赖,需要对被依赖的服务进行 mock,避免真实调用。
接口测试入参准备
准备接口方面的入参。
2 测试执行
调用接口方法,执行业务逻辑。
3 测试校验
1 执行效率
对于接口测试,执行效率是不得不关注的一个点,若一个接口测试执行 3 分钟以上才能看到结果,会大大降低开发同学编写接口测试的热情。对于测试执行效率提高,建议的方案为:
2 测试框架选择
对于测试框架,建议选择基于 testng,能够提供通过配置文件做数据准备的测试框架。如果找不到合适的,可以自己基于 testng 进行封装。
3 接口测试覆盖度
场景的完整性影响着测试用例的覆盖度,一方面需要开发同学基于业务场景的输入和测试经验枚举出正常和异常情况,另一方面接口方法也有一些固定需要测试的点,例如幂等测试,边界值测试,参数不正确测试等等。
同时也要通过覆盖率工具查看接口未覆盖的代码或分支逻辑,进行针对性的场景覆盖测试。根据我的经验,分支完整覆盖非常重要,特别是异常的分支。
要保障系统线上运行稳定,质量保障手段必不可少。虽然现在有很多自动化的保障手段,但接口测试依然是最基本的和最重要的保障手段之一。如能做到持续保障接口测试覆盖度和有效性,很大程度上会降低线上 bug 的产生,开发同学也会更有积极性去重构代码。