#12 楼 @keithmork 握爪,简直不能同意的更多 ,postman 的好处真心太过于明显,前后端无论开发测试全用,随便有个问题丢过去就能查,既直观又便利。。。
但是硬伤和你说的一样,newman 确实还是有些弱;但是离开 postman 似乎对于我们又显得不太可能,毕竟还有那么多 case 在那呢,简直就是食之无味,弃之可惜啊。。。
响应时间这个还算好的,资源受限,cd 团队只能给到这样的测试机器,而且还是很多 namespace 共用的环境,心里苦啊。。。
没办法,case 复用性太差,改起来太痛苦,但看来也只能这条路走到黑了
#10 楼 @keithmork 非常感谢楼主的回复。
异步的话,用到了 nodejs 的 async 模块,跑下来也差不多 5 分钟,不过经常会有些奇怪的问题,可能跟项目也有关系。至于 log 的话,因为用了 child_process 的 exec 方式去 run 的 newman,没出现什么问题,每个 collection 的日志基本都长这样:
恩恩,确实 case 多起来,改起来实在不爽,但是因为我们是前端 team,不放心后端的 api 质量,所以才这么干的。基本上公共的方法也是采用 eval 这种写到 env 里的,可读性确实太差了。
你上面提到的这种方法,听起来还不错,目前就在看 postman collection 的 sdk,初步想法就是抛弃 postman app,用习惯的 IDE 去写 collection,不过感觉还是有一些难以逾越的问题,比如我们的 api 逻辑性蛮强,可能一个 create 的操作需要依赖前面 n 个 basic 的 bo 的 id,怎么定义更通用基础 collection 很头疼。另外舍弃了 postman app 的话,就做不到所见即所得了,感觉得不偿失啊。。。
话说 postman 新版本支持复用代码,楼主有什么更详细的消息么?大概能做成啥样?时间知道么?
谢谢~~
找到组织了,项目在初期,迭代特别快,刚开始还会写点 schema,但后来实在没法维护,每天改 case 占了大半时间。。。
目前 collection 总数到了 106,最长的里面 request 有 20 个,总 test 个数也高达 1100,自动化我是用 nodejs 包 newman 放到 jenkins 上做的,同步跑下来要 20 分钟。。。
现在老板要解决最最头痛的问题,postman 的复用性,楼主有没有啥好方向啊?在看 postman-collection 的 sdk,感觉也是深坑一个啊。。。
提醒下楼主,postman 有两种变量,环境变量和全局变量。
前者针对整个环境起作用,后者只针对某个独立的 collection 起作用,而且两者都是可以写在 tests 中做参数化的。
另外的话,像简单的 loop 循环调用几个 request 也是支持的,像这种postman.setNextRequest("请求名")
手动点赞,持续关注大神~~
大神,想请教下,有没有遇到下面这种问题:
2016-03-11 17:15:06,337 INFO agent daemon : worker PVGN50897276A-0 started
2016-03-11 17:15:36,560 INFO agent daemon : received a stop message
2016-03-11 17:15:36,561 INFO agent daemon : Don't start anymore by message from controller.
2016-03-11 17:15:39,289 INFO agent daemon : received a stop message
2016-03-11 17:15:41,807 INFO agent daemon : received a stop message
2016-03-11 17:15:41,807 INFO agent daemon : Terminating unresponsive processes by force
2016-03-11 17:15:41,994 INFO agent daemon : All workers are finished
2016-03-11 17:15:41,994 INFO agent daemon : communication shut down
2016-03-11 17:15:41,994 INFO agent daemon : Test shuts down.
2016-03-11 17:15:41,994 INFO agent controller : Send log for test_3
2016-03-11 17:15:42,010 INFO agent controller : Clean up the perftest logs
就是 controller 端正常启动并在 console 页面添加 test,点击 start 后 test 正常启动并开始生成 report,但是不到 30s 后 agent 端收到异常终止消息,随即立即终止了 test。
可以确定本人没有发送任何终止消息,尝试多次均如此,期间还试过删除本机所有 nGrinder 相关的目录,重新部署启动了 controller 和 agent,但仍出现上述情况。。。
实在找不出是什么原因造成的,stop message 是在什么情况下被发送出去的,或者哪里还有更详细的 log 可以查出原因?
谢谢~~