背景
美丽川航,美好出行。四川航空作为中国最具特色的航空公司之一,始终以安全为品牌核心价值,持续安全飞行 34 年,现运营中国国内最大的全空客机队超过 190 架飞机,执飞国内外航线 500 余条。而微信小程序是四川航空用户订票的最重要的入口之一,对小程序质量要求也非常高。
每次新版本发布时,需要对会员、机票、行程、服务大厅等业务重点模块进行回归测试。每次上线前,靠人工进行完整测试的 难度大,时间紧,易遗漏。
云测实践
为了提升测试效率,解决人工回归容易遗漏的了问题,从 23 年 3 月开始,四川航空向自动化测试方向转型。
首先四川航空的测试同学,对150+个功能点,按照业务重要程度,用户访问量等维度进行排序,对重要的、变更较少的业务先开展自动化测试。
在自动化测试选型中,组内测试同学有一定的 Python 基础,选择了 Minium 框架 来编写自动化测试用例,并且采用了PageObject 设计模式 ,将用例逻辑和底层操作分离,降低了 Case 的维护成本。
为了方便大家快速上手,我们开放了具体实践的 示例代码 ,方便大家一起学习交流。
在具体实践过程中,发现随着用例数量增加,自动化测试耗时也增加很快。
例如在某次发版时,在开发者工具上,全量执行85 个Case 时需要2 小时 !执行时长过长很影响回归测试效率。
为了解决这个问题,四川航空的测试同学,将用例放在 小程序云测服务 中执行,首先利用多机协同执行用例的方案,将 case 分散给多台机器同时执行,大大提升了执行效率。
在此基础上,四川航空采用了小程序云测服务的 快速测试 机器能力,节省了真机安装和初始化微信的时间,进一步提升了真机执行速度
经过优化后,现在全量执行85 个自动化用例,只需要40 分钟即可完成,大大提升了回归测试效率
使用效果
截止到目前已有85 个自动化用例,占总测试用例的的60%,后续将持续提升自动化测试用例占比。自动化测试明显缩短测试时间,节约了人力成本。
大部分测试用例采用自动化方式覆盖后,测试同学可以专注其他较复杂的业务场景,提升了测试覆盖率。
目前已帮助产品发现8 个缺陷,且云测服务提供的详细的测试报告,包括小程序日志,网络请求日志,运行截图等信息,帮助研发同学快速定位问题,提升修复效率。