问答 请问有什么好用的自动化接口 diff 回归测试工具

地雷 · 2020年02月25日 · 最后由 吉吉里 回复于 2020年04月29日 · 3000 次阅读

我有看diffy这个框架,但是因为行业的特殊性 ,生产环境是不能请求的,但是可以录制请求,或者使用请求日志
也就是说现在我可以操作的有 测试环境生产环境 的日志或流量
在此基础上,我没有什么想法,不知道要怎么去做 diff,希望大佬指点一二

还有就是,请问除了这个 diffy 框架之外,请问还有什么框架可以去做 diff 测试么,感谢

共收到 8 条回复 时间 点赞

没用过啊

没做过这种测试。
不过,我觉得你可以自己看看 python,java 有没有比对 json 的这种扩展包,然后自己封装下就行了。

没有枪没有炮我们自己造

感觉你需要的不是具体的工具,而是一些应用的方式方法,有了方法工具才容易明确。建议可以看看往届 MTSC 大会和这方面有关的议题。

PS:diffy 也没有在生产环境上进行请求的,他是镜像生产环境的流量到内部新版本应用的环境里回放,对比生产和新版本环境的结果差异。不大理解你上面提到的这个点和 diffy 框架应用有什么直接冲突?

生产环境不让请求。。。实时数据变了就难喽😂

陈恒捷 回复

你好,"镜像生产环境的流量到内部版本应用的环境里回放",这句不是很懂... 我试过用 gor 去复制流量,然后 diffy 需要的是请求服务,我不知道如何去回放。

不能请求就是硬伤啊,换个思路搞一个生产测试账号呢?

做 diff 之前,要想清楚为什么要 diff,目的是为了解决什么问题?
我们做 diff,最主要是目的是:
1、新版本的老接口回归
2、线上服务的监控 -- 有点特殊性
3、AB test

就目的 1 来说,就是要对比基准版本(线上版本)和新版本在相同的环境下,相同 query,来对 response 做对比。所以只要是两个版本所在环境一致,就可以完成对比,当然最好是把线上配置和数据复制一份到线下,然后捞取一批线上请求,来对比不同版本的请求结果。

其他两个稍微麻烦点,有空再讲

需要 登录 后方可回复, 如果你还没有账号请点击这里 注册