专栏文章 测试用例设计之正交表法详解

老马 · 2018年11月13日 · 最后由 椰子 回复于 2023年12月06日 · 11914 次阅读

正交实验法的由来

拉丁方名称的由来

古希腊是一个多民族的国家,国王在检阅臣民时要求每个方队中每行有一个民族代表,每列也要有一个民族的代表。

数学家在设计方阵时,以每一个拉丁字母表示一个民族,所以设计的方阵称为拉丁方。

什么是 n 阶拉丁方?

用 n 个不同的拉丁字母排成一个 n 阶方阵(n<26 ),如果每行的 n 个字母均不相同,每列的 n 个字母均不相同,则称这种方阵为 n*n 拉丁方或 n 阶拉丁方。每个字母在任一行、任一列中只出现一次。

什么是正交拉丁方?

设有两个 n 阶的拉丁方,如果将它们叠合在一起,恰好出现 n2 个不同的有序数对,则称为这两个拉丁方为互相正交的拉丁方,简称正交拉丁方。

例如:3 阶拉丁方

用数字替代拉丁字母:

正交实验法

正交试验设计 (Orthogonal experimental design) 是研究多因素多水平的又一种设计方法,它是根据正交性从全面试验中挑选出部分有代表性的点进行试验,这些有代表性的点具备了 “均匀分散,齐整可比” 的特点,正交试验设计是分式析因设计的主要方法。是一种高效率、快速、经济的实验设计方法。

日本著名的统计学家田口玄一将正交试验选择的水平组合列成表格,称为正交表。例如作一个三因素三水平的实验,按全面实验要求,须进行 33=27 种组合的实验,且尚未考虑每一组合的重复数。若按 L9(33) 正交表按排实验,只需作 9 次,按 L18(37) 正交表进行 18 次实验,显然大大减少了工作量。因而正交实验设计在很多领域的研究中已经得到广泛应用。

利用因果图来设计测试用例时, 作为输入条件的原因与输出结果之间的因果关系,有时很难从软件需求规格说明中得到。往往因果关系非常庞大,以至于据此因果图而得到的测试用例数目多的惊人,给软件测试带来沉重的负担,为了有效地,合理地减少测试的工时与费用,可利用正交实验设计方法进行测试用例的设计。

正交实验设计方法:依据 Galois 理论,从大量的(实验)数据(测试例)中挑选适量的、有代表性的点(例),从而合理地安排实验(测试)的一种科学实验设计方法。类似的方法有:聚类分析方法、因子方法方法等。

利用正交实验设计测试用例的步骤:

(1)提取功能说明,构造因子 -- 状态表

把影响实验指标的条件称为因子,而影响实验因子的条件叫因子的状态。

利用正交实验设计方法来设计测试用例时,首先要根据被测试软件的规格说明书找出影响其功能实现的操作对象和外部因素,把他们当作因子;而把各个因子的取值当作状态。对软件需求规格说明中的功能要求进行划分,把整体的、概要性的功能要求进行层层分解与展开,分解成具体的有相对独立性的、基本的功能要求。这样就可以把被测试软件中所有的因子都确定下来,并为确定每个因子的权值提供参考的依据。确定因子与状态是设计测试用例的关键。因此要求尽可能全面的、正确的确定取值,以确保测试用例的设计作到完整与有效。

(2)加权筛选,生成因素分析表

对因子与状态的选择可按其重要程度分别加权。可根据各个因子及状态的作用大小、出现频率的大小以及测试的需要,确定权值的大小。

(3)利用正交表构造测试数据集

利用正交实验设计方法设计测试用例,比使用等价类划分、边界值分析、因果图等方法有以下优点:节省测试工作工时;可控制生成的测试用例数量;测试用例具有一定的覆盖率。

在使用正交实验法时,要考虑到被测系统中要准备测试的功能点,而这些功能点就是要获取的因子或因素,但每个功能点要输入的数据按等价类划分有多个,也就是每个因素的输入条件,即状态或水平值。

正交表的构成

行数 (Runs):正交表中的行的个数,即试验的次数,也是我们通过正交实验法设计的测试用例的个数。

因素数 (Factors) :正交表中列的个数,即我们要测试的功能点。

水平数 (Levels):任何单个因素能够取得的值的最大个数。正交表中的包含的值为从 0 到数 “水平数-1” 或从 1 到 “水平数” 。即要测试功能点的输入条件。

正交表的形式:

L 行数 (水平数因素数)

如:L8(27)

正交表的正交性

整齐可比性

在同一张正交表中,每个因素的每个水平出现的次数是完全相同的。由于在试验中每个因素的每个水平与其它因素的每个水平参与试验的机率是完全相同的,这就保证在各个水平中最大程度的排除了其它因素水平的干扰。因而,能最有效地进行比较和作出展望,容易找到好的试验条件。

均衡分散性

在同一张正交表中,任意两列(两个因素)的水平搭配(横向形成的数字对)是完全相同的。这样就保证了试验条件均衡地分散在因素水平的完全组合之中,,因而具有很强的代表性,容易得到好的试验条件。

用正交实验法设计测试用例
以上介绍了正交实验法的由来。怎么用正交实验法进行用例的设计呢?

用正交实验法设计测试用例

以上介绍了正交实验法的由来。怎么用正交实验法进行用例的设计呢?

用正交表设计测试用例的步骤

(1) 有哪些因素(变量)

(2) 每个因素有哪几个水平(变量的取值)

(3) 选择一个合适的正交表

(4) 把变量的值映射到表中

(5) 把每一行的各因素水平的组合做为一个测试用例

(6) 加上你认为可疑且没有在表中出现的组合

如何选择正交表

考虑因素(变量)的个数
考虑因素水平(变量的取值)的个数
考虑正交表的行数
取行数最少的一个

设计测试用例时的三种情况

(1)因素数(变量)、水平数(变量值)相符

(2)因素数不相同

(3)水平数不相同

我们来看看第一种情况:

(1)因素数与水平数刚好符合正交表

我们举个例子:

这是个人信息查询系统中的一个窗口。我们可以看到要测试的控件有 3 个:姓名、身份证号码、手机号码,也就是要考虑的因素有三个;而每个因素里的状态有两个:填与不填。

选择正交表时分析一下:

1、表中的因素数>=3;

2、表中至少有 3 个因素数的水平数>=2;

3、行数取最少的一个。

从正交表公式中开始查找,结果为:

L4(23)

变量映射:

测试用例如下:

1:填写姓名、填写身份证号、填写手机号

2:填写姓名、不填身份证号、不填手机号

3:不填姓名、填写身份证号、不填手机号

4:不填姓名、不填身份证号、填写手机号

增补测试用例

5:不填姓名、不填身份证号、不填手机号

从测试用例可以看出:如果按每个因素两个水平数来考虑的话,需要 8 个测试用例,而通过正交实验法进行的测试用例只有 5 个,大大减少了测试用例数。用最小的测试用例集合去获取最大的测试覆盖率。

(2)因素数不相同

如果因素数不同的话,可以采用包含的方法,在正交表公式中找到包含该情况的公式,如果有 N 个符合条件的公式,那么选取行数最少的公式。

(3)水平数不相同

采用包含和组合的方法选取合适的正交表公式。

正交实验法的又一个例子

上面就正交实验法进行了讲解,现在再拿 PowerPoint 软件打印功能作为例子,希望能为大家更好地理解给方法的具体应用

假设功能描述如下:

打印范围分:全部、当前幻灯片、给定范围 共三种情况;
打印内容分:幻灯片、讲义、备注页、大纲视图 共四种方式;
打印颜色/灰度分: 颜色、灰度、黑白 共三种设置;
打印效果分:幻灯片加框和幻灯片不加框两种方式。
因素状态表:

我们先将中文字转换成字母,便于设计。得到:

因素状态表:

我们分析一下:

被测项目中一共有四个被测对象,每个被测对象的状态都不一样。

选择正交表:

1、表中的因素数>=4

2、表中至少有 4 个因素的水平数>=2

3、行数取最少的一个

最后选中正交表公式:

L16(45)

正交矩阵为:

用字母替代正交矩阵:

我们看到:

第一列水平值为 3、第三列水平值为 3、第四列水平值 3、2 都需要由各自的字母替代。

第五列去掉没有意义。通过分析,由于四个因素里有三个的水平值小于 3,所以从第 13 行到 16 行的测试用例可以忽略。

那么这样的话,就可以有 12 个测试用例了:
1、

2、

3、

4、

5、

6、

7、

8、

9、

10、

11、

12、

总结

正交实验法或正交表法,是一种大量精简测试组合得到高效有效组合的高级策略算法,有着深厚的理论基础和实践意义.
在判定表和因果图中,如果组合过多的话,可以考虑使用该方法来减少组合.减轻后续测试实施压力.

备注说明:
该文应该是搜集整理过来的,只是觉的定义和解释的比较规范,非本人原创.若有不当,请联系我,更新援引说明.

如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!
共收到 8 条回复 时间 点赞

我觉得提正交设计就应该提一下微软的 PICT 工具

槽神 回复

👏 👍
PICT(Pairwise Independent Combinatorial Testing tool)可以有效地按照两两测试的原理,进行测试用例设计。在使用 PICT 时,需输入与测试用例相关的所有参数,以达到全面覆盖的效果。

此网站列出了所有的快速组合测试工具: http://www.pairwise.org/tools.asp

有相关,没整理放出来 你提到了 就回复下 贡献给大家

老马 回复

我们利用 PICT 做了一些事情,之前在社区发过一篇文章

simple 回复

进你个人空间->话题里 没找到啊. 是不是有多个马甲号发的?

simple 回复

😆 对 对 对 正是摘自大侠此贴. 我一般 wiznote 剪辑保存,都不记得出自哪里了....

“通过分析,由于四个因素里有三个的水平值小于 3,所以从第 13 行到 16 行的测试用例可以忽略。"

请问下,这句话里面的 “四个因素里有三个的水平值小于 3” 是怎么看出来的呀,我看了半天没看懂

请问一下行号怎么得出

需要 登录 后方可回复, 如果你还没有账号请点击这里 注册