六、软件度量
6.1、度量的重要性
度量是衡量测试过程和测试结果的主要依据,也是贯穿整个测试为管理层提供决策的重要依据,只有详实准确的测试数据指标,才能准确的反映出测试问题和风险,没有度量的软件测试,无法给软件产品相关的各方干系人提供信息,也无法为软件上线投产后提供各种风险缓释措施,会为整个生产埋下重大风险。
6.2、度量指标
度量本身一般是以指标的形式体现的,而指标一般可以划分为管理指标与技术指标,其中技术指标主要是体现在性能测试方面。
6.2.1、管理指标
管理指标按照测试阶段划分主要分为过程度量指标与结果度量指标两种,过程度量指标,主要是用来指导测试行为,揭露过程风险,为管理者管控整体测试提供依据。而结果度量指标,则是展示整体测试质量,为是否能够正常投产上线提供依据,且与考核息息相关,也用于指导后续测试的开展。
常见的过程度量指标如下:
A、总体案例执行情况;B、本日案例执行情况;C、正反案例占比情况;D、整体缺陷解决情况;E、缺陷处理方情况;F、缺陷归属方情况
测试过程度量指标往往体现在测试项目的日报和周报之中。
常见的结果度量指标如下:
A、案例设计充分性;B、缺陷逃逸率;C、缺陷解决效率;D、缺陷重现率;E、测试计划完整性;F、测试按计划执行率;G、数据安全指标;H、环境稳定性指标。
测试结果度量指标往往体现在测试报告和整体考核报告中。
6.2.2、技术指标
技术指标往往应用于性能测试领域,用于指导性能测试方案编制和案例执行,该指标主要分为:性能容量 (开放平台)、性能容量 (主机)、性能容量 (数据线系统)、可用性、可维护性、可扩展性、兼容性、性能容量共 8 个大类,每个类别下面再细分不同的小类,然后再到各个小的指标项。笔者所在公司的性能测试体系,共有 216 项详细的性能测试指标。
而常用的测试指标一般如下:
A、响应时间;B、并发用户数;C、内存利用率;D、CPU 利用率;E、负载策略有效性;F、超时有效性;G、流控有效性;H、AP 横向纵向扩展有效性;I、MIPS/TPS;K、高峰业务量
6.2.3、报表工具
如果度量指标由人工手工获取,编制,则度量的成本将无限增大,而机械繁重的工作,也会让获取人员产生极强的厌烦心理,长期可能故意有倾向性的破坏度量指标,得不偿失,故在采用详细的度量手段的同时,一定要有功能强大的报表工具。目前市场上很多测试管理工具自身就可以提供十分强大的报表功能,有的甚至开放 API 供企业自行开发相应的报表,例如笔者所在公司所使用的测试案例管理工具 QC,基本就可以满足管理层所关心的各个维度、不同主题的数据统计需求,在此基础上可以制作内容详实,数据更新实时的测试日报,而基于这些报表数据,测试经理可以分析出相应的问题风险,及时上报,及时考虑风险应对措施,从而有效改变测试实施策略,有效控制整个测试过程的质量。