问答 请问有什么好用的自动化接口 diff 回归测试工具

地雷 · February 25, 2020 · Last by 吉吉里 replied at April 29, 2020 · 6256 hits

我有看diffy这个框架,但是因为行业的特殊性 ,生产环境是不能请求的,但是可以录制请求,或者使用请求日志
也就是说现在我可以操作的有 测试环境生产环境 的日志或流量
在此基础上,我没有什么想法,不知道要怎么去做diff,希望大佬指点一二

还有就是,请问除了这个diffy框架之外,请问还有什么框架可以去做diff测试么,感谢

共收到 8 条回复 时间 点赞

没用过啊

没做过这种测试。
不过,我觉得你可以自己看看python,java有没有比对json的这种扩展包,然后自己封装下就行了。

没有枪没有炮我们自己造

感觉你需要的不是具体的工具,而是一些应用的方式方法,有了方法工具才容易明确。建议可以看看往届 MTSC 大会和这方面有关的议题。

PS:diffy 也没有在生产环境上进行请求的,他是镜像生产环境的流量到内部新版本应用的环境里回放,对比生产和新版本环境的结果差异。不大理解你上面提到的这个点和 diffy 框架应用有什么直接冲突?

生产环境不让请求。。。实时数据变了就难喽😂

陈恒捷 回复

你好,"镜像生产环境的流量到内部版本应用的环境里回放",这句不是很懂... 我试过用gor去复制流量,然后diffy需要的是请求服务,我不知道如何去回放。

不能请求就是硬伤啊,换个思路搞一个生产测试账号呢?

做diff之前,要想清楚为什么要diff,目的是为了解决什么问题?
我们做diff,最主要是目的是:
1、新版本的老接口回归
2、线上服务的监控--有点特殊性
3、AB test

就目的1来说,就是要对比基准版本(线上版本)和新版本在相同的环境下,相同query,来对response做对比。所以只要是两个版本所在环境一致,就可以完成对比,当然最好是把线上配置和数据复制一份到线下,然后捞取一批线上请求,来对比不同版本的请求结果。

其他两个稍微麻烦点,有空再讲

需要 Sign In 后方可回复, 如果你还没有账号请点击这里 Sign Up