软件测试是一个千亿美金级别的巨大市场。然而,长期以来,软件测试对于大多数 IT 公司来说,都是一个有切肤之痛的存在。很多时候,软件测试不仅投入大,成效低,而且"当仁不让"成为项目前进的瓶颈。
更糟糕的是,不管大家如何吐糟软件测试,却也始终不能丢弃它,毕竟测试是任何软件产品真实而必不可少的需求。那么,究竟如何解决测试痛点呢?这方面的探索并不少。其中,自动化是近十年来的代表。
自动化固然能够加快测试执行,缩短反馈时间,但是经实践检验,自动化存在明显短板:
也就是说,即使进入自动化时代,软件测试仍然是痛点。那么,下一步怎么走?幸运的是,机器学习和人工智能技术的兴起,为新一代软件测试的诞生提供了可能。用低成本智能化的 AI 来替代测试工程师的部分或全部职能,成为新的发展方向。
这方面的学术研究存在已久,相关论文汗牛充栋。然而,真正要把 AI 测试技术落地,并且逐步完善起来,还需要借助商业化公司的力量。从全球来说,AI 测试创业公司正在兴起之中。最近,我对这些创业公司进行了整理和分析。
在收集它们的融资情况时,有一个惊人发现。那就是在今年全球资本寒冬背景下,AI 测试领域却逆势而上,至少发生了 6 起融资,总额超过 2500 万美金。大家知道,资本是非常挑剔的。这个现象充分说明,AI 测试确实存在巨大机会。
下表是截止 2019 年 11 月,全球主要 AI 测试创业公司的统计信息,按公司名称首字母排序。特别说明:这张表只统计原生 AI 测试公司,那些在后期才引入 AI 技术以改进现有产品的公司,例如美国的 Sauce Lab,中国的 Testin 等,不在统计范围。
大家是否好奇这些公司的具体情况?下面我就逐一简要介绍它们。
Applitools 创办于 2013 年,它使用 AI 图像处理技术来实现软件功能和视觉/UI 测试。它能够在各种移动设备,浏览器,操作系统等环境工作,并且与主流 CI/CD 工具无缝集成。其创办至今已经完成多轮融资,在软件,金融,保险,医药,消费等行业拥有 300 多个客户。
Applitools 的创办者是一群以色列人,其中 CEO Gil Sever 是一名连续创业者。他创办的 Storwize 公司在 2010 年被 IBM 收购,创办的 Safend 公司在 2011 年被 Wave Systems 收购,他还曾是纳斯达克上市公司 Ectel 的 COO。
Appvance 是一家位于加利福尼亚的 AI 驱动型自动化测试创业公司。今年 1 月份刚完成 500 万美元的 B 轮融资,总融资额度达到 1200 万美元。Appvance 的创始人兼 CEO 是华人 Andre Liao。
Appvance 的主打产品是 Appvance IQ,其号称实现了最高级别 (Level-5) 的自动化测试,即基于机器学习的完全自动化。据官网介绍,Appvance IQ 能够以比人工快十万倍的速度生成测试用例,并且节省 90% 的工作量,同时还能达到更好的测试效果。
autify 由日本团队创办,在 10 月份获得 250 万美元的天使投资。autify 使用 AI 监控应用程序的变化,并且自动生成和修复端到端的测试用例。也就是说,无论是自动化用例生成还是自动化用例维护,都由 AI 来完成,无须人工干预。
同时,autify 能够与各种第三方软件集成,例如商业通讯软件 Slack,测试用例管理工具 TestRail,持续集成工具 Circle CI 等。autify 已经为超过 150 家公司做过产品测试版本的 demo,预计将于年底发布正式版本。
deepcode 是一家瑞士创业公司,由著名的苏黎世理工大学 (ETH Zurich) 计算机系科研团队创办,主要创始人是曾经在谷歌工作 5 年,后在 ETH Zurich 攻读博士学位的 Veselin Raychev。Veselin 是位大牛,他面向大规模代码库的机器学习算法研究,曾获 2016 年度 ACM 杰出博士论文奖。
deepcode 提供基于 AI 的代码评审和静态检查服务。与传统静态检查工具不同的是,它不仅能够识别语法错误,而且基于对海量开源代码 (Bigcode) 的学习,它能够理解代码背后的意图,从而能够识别更多的程序缺陷和风险点。目前,对于开源项目和少于 30 个开发者的公司,deepcode 是免费的。
mabl 是一家位于波士顿的创业公司,由前谷歌工程师,连续创业者 Dan Belcher 和 Izzy Azeri 创办。成立迄今,mabl 已经获得超过 3000 万美元的融资。最新一轮融资发生在 2018 年 9 月,金额是 2000 万美元。
mabl 主要面向的是浏览器环境下的 UI 测试。基于 mabl 的自动化测试,无须维护任何测试脚本,无须提供基础设施。同时,当应用发生变化时,机器学习算法能够自动适配这种变化。并且,mabl 还能自动分析测试结果和定位缺陷产生原因。
retest 是一家德国创业公司,成立于 2017 年,面向的也是基于 UI 的视觉测试领域,在今年 3 月获得第一笔融资。
SpotQA 是一家位于伦敦的创业公司,其主打产品为 Virtuoso。这是一款智能的质量助手平台,使用机器学习和机器过程自动化技术,号称能够将 web 和移动应用测试速度提高 25 倍。在今年 8 月,SpotQA 获得 325 万美元的天使投资。
testim 成立于 2014 年,在今年 6 月获得 1000 万美元的 B 轮融资,总融资额度达到 1950 万美元。testim 使用 AI 技术来生成,执行和维护自动化测试,并且与敏捷流程集成,从而实现软件的高质量与快速交付。testim 号称能够节省 70% 的测试生成时间和 90% 的测试维护时间。现在,每个月在 testim 平台上运行的测试用例超过 200 万个。
以上就是截止 2019 年 11 月,全球主要 AI 软件测试创业公司的简要介绍。总的来说,AI 软件测试是一个门槛较高的领域,需要具备 AI 和软件测试两大领域的知识与经验。总的来说,这个领域出现了一些先驱,"刮起了一点小风",但是离蓬勃发展,离"风起云涌",还有相当一段距离。
我将持续关注 AI 软件测试这一前沿领域的研究和创业趋势。