敏捷测试转型 聊聊谁能成为探索式测试高手

鼎叔 · 2022年10月03日 · 4747 次阅读

这是鼎叔的第三十五篇原创文章。

行业大牛和刚毕业的小白,都可以进来聊聊。

欢迎关注本人专栏和微信公众号《敏捷测试转型》,大量原创思考文章陆续推出。
本文是关于探索式测试第四篇文章。相关文章:第一篇 聊聊什么是探索式测试。第二篇 聊聊产品的局部探索和全局探索。第三篇 聊聊探索式测试落地的全流程。

探索式测试高手,面对实践中暴露的各种问题,比如参与探索测试人员的怀疑和消极情绪,如何应对?他应该拥有什么样的探索工具箱及实践技巧?

如何评估探索式测试的收益,以此判断是否进一步把宝贵的测试时间花在探索测程上?

实践中面对的难题
随着探索式测试的持续实践,当前的探索模式可能会呈现各种问题,主要有以下几类。

1)重复性:如果掌握的探索方法有限,随着前几次探索的热情降温,很可能出现找到的缺陷越来越少,新增价值越来越低的情况,导致参与人员热情下降。

出现这种情况并非坏事,缺陷在收敛,说明遗留问题在不断减少,离出货的质量要求也在不断接近。同时,我们可以尝试更多的创新探索手段,在有限的时间内进一步挖掘新问题。

2)单调性:由于探索式测试的思路没有打开,熟悉的探索方法就那么几种,实践多了会觉得活动很乏味。这时可以引入更多有趣的活动组织形式,并增加挑战难度。

探索测试强调降低各种文档和工具的束缚,也鼓励降低环境的束缚。也许我们可以在一个悠闲的咖啡厅,一边喝着咖啡交流,一边探索产品的问题,说不定发现问题的效率大为增加,因为沉浸式环境中的心情是愉悦的。

3)健忘性:测试完成一段时间,之前发掘到好问题的灵机一动和场景步骤都记不清了,感觉懊恼。

应对这个问题我们有三板斧:

过程笔记,认真记录找到高价值 Bug 的灵感和场景,并和同事充分交流。
针对高频或严重问题,写成新的用例添加到计划用例集里。
对有代表性的找 Bug 技巧抽象成原创启发式方法,自己命名并宣传。

4)不接地气:回顾探索式测试发现的问题,有可能出现很多 Bug 其实用户并不关心,而用户反馈的问题完全没有被探索者关注的情况。

在上个专题聊聊提升用户体验的评测方案(合辑共 8 篇)中,我们已详细对上述问题展开讨论。包括如何从用户声音中挖掘值得探索的内容,如何让自己走出办公室,与用户所处的场景更贴近。

如何衡量探索式测试的收益
我们在做任何模式创新时,都会面临项目组和领导的质疑,这种测试模式没有严格的报表和计划,真的有效么?会不会导致质量结果拉垮?

探索式测试的收益,需要通过与传统测试风格——计划式测试的对比,才能有更直观的说服力。建议从这几个维度来看指标。

探索式测试 VS 计划式测试

单位时间内,谁找到的有效缺陷最多,或者 DI 值(即按缺陷等级权重求和)更大?
完成一轮测试,总耗时谁多?
完成一轮测试,谁的代码覆盖率最高?
上线后的缺陷漏测,谁更少?
谁积累了更多可复制的高效发现缺陷的技巧?
如果有两个对照小组,一个做计划测试模式,一个做探索式测试模式,对比数据更直观。

从以往的对比效果来看,探索式测试的单位时间发现问题的效率提高 2 倍以上,在漏测缺陷上两者相当。而探索式测试最大的价值,还是在积累发现缺陷的方法上。

传统业务测试在测试经验共享上效率比较低,主要原因是各个业务的逻辑,复杂度,架构特征,前置条件都不同,测试人员分享找 Bug 的经验时,难以产生共鸣,也缺乏意愿去熟悉其他业务的详细技术背景。 而探索式测试的风格,就是把方法隐喻成大家都能理解的简单策略,两句话就能说清楚。

有意思的是,不同探索测试人员用同一个探索方法找 Bug,找出的 Bug 可以完全不同,比如超模测试法,每个人关注的界面不同,细节偏好不同,交互习惯不同。所以,团队集体做探索测试也不会产生太多的浪费(发现重复缺陷)的。

基本实践技巧总结
1 一次连续的探索测试(测程),建议控制在 2 个小时左右,最长控制在 4 个小时左右。

2 涉及等待的场景,取消测试法杀伤力很大,因为很多程序没有考虑用户在等待中撤销请求应该怎么处理。

3 针对涉及列表的排序操作,缓存占用大的场景,强迫测试法效果佳,如不停快速切换排序按钮,这对程序员的算法处理能力提出挑战。

4 找到你的被测对象的所有边界,破坏它(破坏测试法)!如点击边缘,或让嵌套层数到达极限,等等。

5 多和业务干系人(产品设计,开发,用户等)面对面沟通,获得探测章程的灵感,既要了解这个目标的价值共识,又要警惕团队对产品的惯性认知,给出独立的测试行动判断。

6 前期探索测试看大问题和基础体验,后期探索测试看精准的专项问题。

7 多营造放松的探索环境,多用团建式的方式做探索,让找 Bug 更有乐趣。

8 探索测试不是只安排一轮,可以在不同的质量阶段都适当安排,第二轮可以基于第一轮的经验教训,做得更好。如果测试缺陷明显减少,往往是好事,质量信心指数提升了。

随着团队的深入实践,我们会开始尝试更深入的新探索模式,找到更多适合自己团队的探索测试方法,同时形成一套完善的探索工具集,帮助其他团队更愿意投入到探索实践中,且成本极低。

原创模型和原创方法
通过理论学习和实践,我们会发现,不同的业务有不同特色的 “重灾区”,原来的经典探索方法过于宽泛,不够具体(定制化),有不少严重缺陷路径可以用成员原创的新探索方法去挖掘出来,也容易在团队中被记忆和传播。即使团队出现人员的大幅更替,原创探索方法可以快速地继承经验,避免团队知识的遗失。

探索测试方法可能会越来越多,变种方法也能花样翻新。为了方便归类和记忆,我们引入一个概念:探索测试模型,这是一套完整清晰的可简单理解框架,在一个模型上面可以细分出偏重具体场景的测试方法。

例如聊聊产品的局部探索和全局探索介绍的,全局探索漫游者隐喻,就可以称为 “漫游者探索” 模型,基于这个模型拆分和衍生出数十种具体的探索方法。

为了体系化地拓展原创方法,我们在引入新的探索理论和全新视角时,首先要看能不能归纳成易于理解的探索模型,再进行简单方法的拆解。

如聊聊角色扮演探索式测试与肥皂剧模型介绍的,充分发挥出剧本想象力,其中可以拆解出 “角色扮演测试法”,“倒霉蛋测试法” 等有趣的方法。此外还有竞品对比测试模型(聊聊竞品体验对比评测(下))、不良利润测试模型(聊聊不良利润 - 如何让产品更善良)等原创模型。

再例如,特定的业务形态,可以提炼专项的探索模型和方法。以海外产品测试为例,我们可以建立 “本地化探索模型”,并针对地域时区修改的常见错误定义 “时区修改测试法”;针对不同语言翻译导致控件出现 UI 错误,定义 “超长文本测试法”;也可以针对不同宗教节日和文化习惯,定义 “宗教文化测试法”,等等。思路可以不断开拓。

如果是针对语音识别这类智能产品,你会定义什么样的原创测试方法,甚至测试模型?请读者自行思考。

通过系统思考建立好探索模型,可以让实践同学从中补充具有规律性的技巧。为了方便人员形象记忆,可以给每个探索测试方法使用一个寓意相关的图形标记,更为生动。

与众包平台合作:参与探索挑战
在缺陷大扫除过程中,大家会感觉到,“组织活动,汇总问题,发放激励” 的整个过程还是比较烦琐,每次都要投入不少人工精力。另外团队总有少部分人员因故无法参加(出差、开会等),或者人在外地,参与不方便。

与众包平台合作,可以完满解决上述问题。

在众包平台发布探索测试挑战任务,愿意参与的人员访问 App 或 Web 任务页面报名参与,下载被测软件,在指定时间内,上传反馈的缺陷或者建议。任务组织者会在众包平台审核问题,给予积分,并对优秀贡献者提供奖励。

而通过众包上传缺陷,一键录入缺陷管理系统,相较于线下大扫除活动中还需要事后补录 Bug,还是方便很多。更强大的是,众包平台可以自动聚合完整的集体探索测试的报告,稍加分析即可发出,大幅降低测试组织和整合成本。从此大家可以随时随地参与集体缺陷探索。

当然,在一个会议室集体做缺陷大扫除也有独特优势,毕竟面对面更有交流的乐趣和比赛的紧张感。我们还可以在线下进行比赛,但提报 Bug 时用众包平台。

最后,再回答这个问题:
** 谁会成为探索式测试高手 **
实践是离不开人的,什么样的人能够在探索式测试中成长为此间高手?下面列举了一些探索式测试高手的长处,值得大家参考。

善于测试设计:本质上探索能力和测试用例的设计能力是互相转换的,善于设计的人能够开拓想法,也就能够探索到更多不为人知的细节。

仔细的观察:善于发现蛛丝马迹,抽丝剥茧,打破砂锅问到底,找到隐藏 BOSS。

自我批判性思维:正如和开发讨论可能的章程,在经验中习以为常的无风险,不一定就是对的,勇于质疑自己,并在每个测程结束时反思做的如何。拓展文章:聊聊拒绝忽悠的批判性思维。

多样的想法:善于启发并归纳,能够活用多种技巧,能即时判断和选择,并非常善于联想。

拥有丰富的资源:一切皆资源(上报数据,工具,日志,配置库等),都能利用来做探测。而拥有厉害的朋友,可以互相学习切磋,也是很棒的资源。

善于结对测试和合作:一边测试,一边沟通交流,说出自己的设想,看到对方执行上的问题,这类合作往往收获不凡。

总结,探索式测试实践的高手口诀:小心的观察,认真的思考,资源的挖掘,系统的反叛。

探索式测试团队是一个强沟通的团队,团队的主管应该起到引领和教练的作用,挖掘成员在测试中快速找到方向,发现惊喜,形成信心正循环,从而让更多的成员成长为探索式测试高手。

暂无回复。
需要 登录 后方可回复, 如果你还没有账号请点击这里 注册