这是鼎叔的第九篇原创文章。
行业大牛和刚毕业的小白,都可以进来聊聊。

欢迎关注本人专栏和微信公众号《敏捷测试转型》,大量原创思考文章陆续推出。
鼎叔在 MTSC-中国移动互联网测试开发大会,以及深圳敏捷之旅中,分享了《提升用户体验的评测方案》议题,本文是相关系列主题文章的第五篇。
针对市场竞争激烈的产品,相对于测试缺陷情况,高级管理者往往更关心产品的核心体验竞争力如何,差距在哪里。测试通过可测性分析得到了一系列用户体验有关的客观指标。那如何给出竞品对比的评测结论和改进建议呢?

相关文章请看:聊聊测试团队在 NPS 变革中可以做什么 https://mp.weixin.qq.com/s?__biz=MzkzMzI3NDYzNw==&mid=2247483735&idx=1&sn=468404a266468ff7d06a65e6c779b604&chksm=c24fb435f5383d23ee9980909196ef90f69de2bb0ef2e782e9477d85b0e2fc26768840504138&token=1853387583&lang=zh_CN#rd,聊聊用户体验与常规缺陷的异同 https://mp.weixin.qq.com/s?__biz=MzkzMzI3NDYzNw==&mid=2247483721&idx=1&sn=d6542a6818ab81fe2786afe5155b2c88&chksm=c24fb42bf5383d3dfca225cebaf9bca5145977e1005df8808a1537be6286b5c0f984bd6844ed&token=1853387583&lang=zh_CN#rd

第一节 KANO 模型
KANO 模型是对用户体验进行分类和排序的知名质量度量模型,体现了产品指标和用户满意之间的非线性关系,产品服务的质量特性可以分为五类:
必备质量- Must-be Quality 理所当然的需求,必须满足,比如网络连通率,通话信号正常,APP 稳定不崩溃,视频画面流畅度,待机时间足够长等。
期望质量- One-dimensional Quality *用户满意度和该质量满足的程度成正比。企业在这块应该力争超过竞争对手。比如客户投诉解决满意度,搜索结果命中率等等。
*
魅力质量- Attractive Quality ** 不会被用户过分期望的需求,但随着满足顾客期望程度的增加,顾客满意度急剧上升,产生惊喜感,提高了忠诚度。如免费增值服务,减免常规费用(免邮费,手续费),惊喜礼物,VIP 服务等。
*无差异质量- Indifferent Quality * 不论提供与否,对用户体验无影响,如与用户需求无关的赠品,优惠券等等。
** 逆向质量- Reverse Quality
会引起强烈不满或低水平满意的质量特性,因为并非所有消费者都有相似喜好。比如科技产品有一些进阶功能对普通用户完全用不到,反而增加了界面复杂性。

基于该模型进行用户满意度的改进策略就很清晰了:全力以赴保障必备质量,尽力去满足顾客的期望质量,争取实现顾客的魅力质量(培养忠实用户)。
一句话总结:必备质量不能有问题,期望质量不能有短板,魅力质量长板足够长,无差异质量不付出额外成本
从竞品对比评测的方案来看上述策略,思路就是:
对必备指标例行监控评测,及时优化(见第二节);
对期望指标进行专项竞品对比分析,找准对比场景和指标,最好自动化实现(见第三,四节);
对魅力指标以探索挖掘活动为主,提供创新体验建议(见第五节)。

第二节 竞品对比测试核心指标设计
相对于只测试自身产品的体验指标,竞品对比测试更容易激发开发团队自我改进的斗志,管理者也能够了解差距,给予大力支持。但其前提,是竞品对比的指标要客观,结论清晰,查看差距很方便。
理解了上述 KANO 模型,我们就可以设计竞品对比测试指标方案。

锁定竞争对手产品:可以和业务/开发负责人商讨确定,可以包括同领域内行业领先的对手产品(参考市场占有率和技术品质口碑),也可以包括头部平台产品的相对标功能专区。

明确必备指标:通常是基础体验的性能指标,针对 APP 而言,常见的通用指标有:APP 启动率,crash 率,ANR 率,核心页面流畅率,核心页面加载完成时间,核心操作的 CPU 和内存占用大小,内存泄漏等等。
另外,针对不同性质的产品门类,也有个性化的必备指标,比如手机清理软件,必备质量有 “手机空间扫描耗时” 和 “清理垃圾完成耗时”,对于手机安全软件,必备质量有 “完成安全扫描耗时”。
必备指标不一定要和竞品做对比,可以参考行业高标准设置客观达标值即可,例如,行业认为,正常网络链接下一个页面完成加载耗时在 2 秒以内就是一个优良体验,那我们可以把 2 秒作为标准,看看一天的定时拨测中,有多少比率能达标,确认可改进的空间。

明确期望指标(卖点指标):期望指标往往和竞品表现是强相关的,还是以网页打开速度为例,如果只是特定热门页面,打开速度是必备质量要求,但是对于浏览器可以访问的海量页面,在不同的网络环境,必然存在很多页面加载的时候体验是比较差的,所以对于 “热门网站不同环境下的快速加载耗时” 可以成为浏览器的期望指标,而且要和竞品对比,锁定相当数量的测试网页,才能整体上判断这个能力是什么水平。
同理,对于手机清理软件,一次清理垃圾释放出的空间大小,就是用户的期望指标,这是清理类软件的核心卖点,不同竞品之间会 PK,做精细化处理,才能最大程度上清理出垃圾空间(且不能误清理有用数据)。
对于安全软件,期望质量可以是 “查杀出了多少数量/种类的恶意软件和病毒”,这块也是竞品之间的技术较量场。

明确魅力指标(WOW 指标): 这类指标往往可遇不可求,对于竞争激烈的领域,找到 WOW 指标很难,对于创新领域的先行者,找 WOW 指标相对好找一点。但是,如果某一个卖点功能通过细心打磨,远远超出竞品水准,就可以成为一个 WOW 指标;反之,彼此差距不大,市场已充分了解,那就更适合作为期望指标。
比如,浏览器打开文件的功能,如果对市面上各类文件格式(包括一些不常见的格式),打开能力和阅览稳定性远远超过对手,就可以成为魅力指标。

建立竞品对比测试计划和报表: 通过业务团队的协商,在精力有限的情况下,从上述指标中锁定值得长期对比的竞品评测指标,通过持续发布结果,锁定差距最大的指标表现,持续改进,经过一段时期的改善,通常能看到明显的相对提升效果。
为了保障竞品对比指标能形成趋势(自身趋势和竞品对比趋势),便于观察效果,且降低大量人工处理成本,因此应尽量做成自动化测试,可视化展示指标,如图所示:

对于短期可挖掘的指标,可以做一期专项测试分析,无需做成自动化。

自动化测试,如涉及到竞品指标的获取,如何实现?正常的侵入式测试手段是无法获得竞品指标结果的(如白盒测试,日志埋点等),下一篇文章会提供两个实践案例给大家参考。
大家可以看到,自动化性能测试,并不只是局限于自嗨的测试指标,而是一切从用户真实诉求出发,寻找最具可比性的核心价值,这种自动化才真正有高性价比。


↙↙↙阅读原文可查看相关链接,并与作者交流