我有看diffy这个框架,但是因为行业的特殊性 ,生产环境是不能请求的,但是可以录制请求,或者使用请求日志。 也就是说现在我可以操作的有 测试环境 和 生产环境 的日志或流量 在此基础上,我没有什么想法,不知道要怎么去做 diff,希望大佬指点一二
还有就是,请问除了这个 diffy 框架之外,请问还有什么框架可以去做 diff 测试么,感谢
没用过啊
没做过这种测试。 不过,我觉得你可以自己看看 python,java 有没有比对 json 的这种扩展包,然后自己封装下就行了。
没有枪没有炮我们自己造
感觉你需要的不是具体的工具,而是一些应用的方式方法,有了方法工具才容易明确。建议可以看看往届 MTSC 大会和这方面有关的议题。
PS:diffy 也没有在生产环境上进行请求的,他是镜像生产环境的流量到内部新版本应用的环境里回放,对比生产和新版本环境的结果差异。不大理解你上面提到的这个点和 diffy 框架应用有什么直接冲突?
生产环境不让请求。。。实时数据变了就难喽
你好,"镜像生产环境的流量到内部版本应用的环境里回放",这句不是很懂... 我试过用 gor 去复制流量,然后 diffy 需要的是请求服务,我不知道如何去回放。
不能请求就是硬伤啊,换个思路搞一个生产测试账号呢?
做 diff 之前,要想清楚为什么要 diff,目的是为了解决什么问题? 我们做 diff,最主要是目的是: 1、新版本的老接口回归 2、线上服务的监控 -- 有点特殊性 3、AB test
就目的 1 来说,就是要对比基准版本(线上版本)和新版本在相同的环境下,相同 query,来对 response 做对比。所以只要是两个版本所在环境一致,就可以完成对比,当然最好是把线上配置和数据复制一份到线下,然后捞取一批线上请求,来对比不同版本的请求结果。
其他两个稍微麻烦点,有空再讲