性能测试工具 JMeter 与 Locust 压测结果比对

Tesla Lau · 2018年05月15日 · 最后由 roc 回复于 2021年01月12日 · 298 次阅读

大家好,最近使用 Locust 做了一些压测。看网上的说法,Locust 的统计结果不是很准确,所以我用 JMeter 和 Locust 对同一个 api 做了一下压测。
Api 使用 flask-restful 在本地部署的一个,直接使用的官网例子:

from flask import Flask
from flask_restful import reqparse, abort, Api, Resource

app = Flask(__name__)
api = Api(app)

TODOS = {
    'todo1': {'task': 'build an API'},
    'todo2': {'task': '?????'},
    'todo3': {'task': 'profit!'},
}


def abort_if_todo_doesnt_exist(todo_id):
    if todo_id not in TODOS:
        abort(404, message="Todo {} doesn't exist".format(todo_id))

parser = reqparse.RequestParser()
parser.add_argument('task')


# Todo
# shows a single todo item and lets you delete a todo item
class Todo(Resource):

    def get(self, todo_id):
        abort_if_todo_doesnt_exist(todo_id)
        return TODOS[todo_id]

    def delete(self, todo_id):
        abort_if_todo_doesnt_exist(todo_id)
        del TODOS[todo_id]
        return '', 204

    def put(self, todo_id):
        args = parser.parse_args()
        task = {'task': args['task']}
        TODOS[todo_id] = task
        return task, 201


# TodoList
# shows a list of all todos, and lets you POST to add new tasks
class TodoList(Resource):

    def get(self):
        return TODOS

    def post(self):
        args = parser.parse_args()
        todo_id = int(max(TODOS.keys()).lstrip('todo')) + 1
        todo_id = 'todo%i' % todo_id
        TODOS[todo_id] = {'task': args['task']}
        return TODOS[todo_id], 201

##
# Actually setup the Api resource routing here
##
api.add_resource(TodoList, '/todos')
api.add_resource(Todo, '/todos/<todo_id>')


if __name__ == '__main__':
    app.run(debug=True)

调试 get 请求http://localhost:5000/todos,成功返回

使用 Locust 的压测结果:(使用 500 个并发用户)

from locust import HttpLocust, TaskSet, task
from datetime import datetime
import random
from re import search


class UserBehavior(TaskSet):
    @task
    def chushen(self):
        with self.client.get("/todos" , catch_response=True) as rp:
            rp.encoding = 'utf-8'
            if 'build an API' in rp.text:
                rp.success()
            else:
                rp.failure(rp.text)

class WebsiteUser(HttpLocust):
    task_set = UserBehavior
    host = "http://localhost:5000"

使用 JMeter 的压测结果:(使用 500 个并发用户)

以上测试都是在我的本机上进行的,可以看到使用 Locust 压测时,fail 的 request 很少,只是 tps 不是很高,平均只有 150rps,但是使用 JMeter 压测时,错误很多,下面是报错的一些截图:

做这样一个比对的原因,是因为我想选择其中一个做为将来的主力测试工具,所以希望所选择的工具在测试结果的准确性,施压能力上都很不错。我个人比较喜欢 Locust,脚本写起来爽,但是对压测结果的准确性上还有点怀疑。大家觉得哪个比较好呢?

共收到 16 条回复 时间 点赞

我还是相信 jmeter

还是觉得 JMeter 比较好,并发这些可以到很高
Locust 优点就是写用例很方便
如果能把两者的优点结合起来就好了,Python 生成 jmx 脚本,然后 JMeter 去 Run..😀 😀

不应该差这么多吧,jvm 配置了吗,并发数多对比几组看看呢,比如 50,100,150,200,300;
为啥 jmeter 吞吐量>并发数呢,不太懂;这个应该是和 locust 机制不一样吧
刚试了一下,jmeter 100 个线程数,一直循环,吞吐量 1800 多,有出错的情况 0.02%,如下

java.net.SocketException: Socket closed
    at java.net.SocketInputStream.socketRead0(Native Method)
    at java.net.SocketInputStream.socketRead(SocketInputStream.java:116)
    at java.net.SocketInputStream.read(SocketInputStream.java:171)
    at java.net.SocketInputStream.read(SocketInputStream.java:141)
    at org.apache.http.impl.io.AbstractSessionInputBuffer.fillBuffer(AbstractSessionInputBuffer.java:161)
    at org.apache.http.impl.io.SocketInputBuffer.fillBuffer(SocketInputBuffer.java:82)
    at org.apache.http.impl.io.AbstractSessionInputBuffer.readLine(AbstractSessionInputBuffer.java:278)
    at org.apache.http.impl.conn.DefaultHttpResponseParser.parseHead(DefaultHttpResponseParser.java:138)
    at org.apache.http.impl.conn.DefaultHttpResponseParser.parseHead(DefaultHttpResponseParser.java:56)
    at org.apache.http.impl.io.AbstractMessageParser.parse(AbstractMessageParser.java:259)
    at org.apache.http.impl.AbstractHttpClientConnection.receiveResponseHeader(AbstractHttpClientConnection.java:286)
    at org.apache.http.impl.conn.DefaultClientConnection.receiveResponseHeader(DefaultClientConnection.java:257)
    at org.apache.jmeter.protocol.http.sampler.hc.ManagedClientConnectionImpl.receiveResponseHeader(ManagedClientConnectionImpl.java:199)
    at org.apache.jmeter.protocol.http.sampler.MeasuringConnectionManager$MeasuredConnection.receiveResponseHeader(MeasuringConnectionManager.java:212)
    at org.apache.http.protocol.HttpRequestExecutor.doReceiveResponse(HttpRequestExecutor.java:273)
    at org.apache.http.protocol.HttpRequestExecutor.execute(HttpRequestExecutor.java:125)
    at org.apache.http.impl.client.DefaultRequestDirector.tryExecute(DefaultRequestDirector.java:684)
    at org.apache.http.impl.client.DefaultRequestDirector.execute(DefaultRequestDirector.java:486)
    at org.apache.http.impl.client.AbstractHttpClient.doExecute(AbstractHttpClient.java:835)
    at org.apache.http.impl.client.CloseableHttpClient.execute(CloseableHttpClient.java:83)
    at org.apache.jmeter.protocol.http.sampler.HTTPHC4Impl.executeRequest(HTTPHC4Impl.java:697)
    at org.apache.jmeter.protocol.http.sampler.HTTPHC4Impl.sample(HTTPHC4Impl.java:455)
    at org.apache.jmeter.protocol.http.sampler.HTTPSamplerProxy.sample(HTTPSamplerProxy.java:74)
    at org.apache.jmeter.protocol.http.sampler.HTTPSamplerBase.sample(HTTPSamplerBase.java:1189)
    at org.apache.jmeter.protocol.http.sampler.HTTPSamplerBase.sample(HTTPSamplerBase.java:1178)
    at org.apache.jmeter.threads.JMeterThread.executeSamplePackage(JMeterThread.java:490)
    at org.apache.jmeter.threads.JMeterThread.processSampler(JMeterThread.java:416)
    at org.apache.jmeter.threads.JMeterThread.run(JMeterThread.java:250)
    at java.lang.Thread.run(Thread.java:748)

locust 不清楚,jmeter 你贴的这两个错误,第二个是服务端连接数限制的问题,和 jmeter 无关;第一个是接口被占用,也可以优化配置解决

lofbat 回复

谢谢,我那个 api 是直接用 flask-restful 本地起的一个,可能本身就不支持那么高的并发。有没有比较方便本地直接配置的又支持高并发的 api 推荐推荐呀?

可以尝试在相同的客户机开起同样的线程数,并且对同一个相同的服务,来做并发测试,此时可以观察客户机的当前性能,注意是客户机,不是被测服务设备。此时你会发现。。。jmeter 的客户机损耗性能比起 locust 好太多了。 python 虽简单,但在高并发测试场景下,客户机的资源利用成本是非常需要考虑的

Jacc 回复

我也不太懂,刚刚把 api 改成了通过 tornado 实现的,抄的网上的例子:

import os
import tornado.web
import tornado.ioloop

class MainHandler(tornado.web.RequestHandler):
    def get(self):
        self.write("Hello , SELECT\n")

    def post(self):
        self.write("hello , ADD\n")

    def put(self):
        self.write("hello , UPDATE\n")

    def delete(self):
        self.write("hello , DELETE\n")


if __name__ == "__main__":
    settings = {
        'debug' : True,
        'static_path' : os.path.join(os.path.dirname(__file__) , "static") ,
        'template_path' : os.path.join(os.path.dirname(__file__) , "template") ,
    }

    application = tornado.web.Application([
        (r"/" , MainHandler),
    ] , **settings)
    application.listen(8888)
    tornado.ioloop.IOLoop.instance().start()

300 并发用户,Locust 压测结果:

300 并发用户,JMeter 压测结果:

这差距也太大了点。。。

战 神 回复

说的 没毛病 我这就是仗着有非线上业务的机器所以我 暂时 还是继续用着 locust 但是大趋势 还会用 jmeter 实惠些 不过真心 没有 locust 来的爽快

会写 go 吗?我这有个开源的分布式测试框架

jacexh 回复

求推荐

作者大大,这个问题现在解决了吗,已经放弃 locust 了吗,最近在学习 locust,对比 jmeter 的结果,吓我一跳

@jacexh 你的分布式开源框架可以分享下吗?

jacexh 回复

想学习下

吴振国 回复

https://github.com/jacexh/ultron 应该是这个。。。。快一年没有更新了。。。没有中文使用文档,慎入。

不知道压测怎么选型工具类啊

这儿有一篇 jemeter 和 locust 的对比,个人使用也觉得比较贴近:
https://www.cnblogs.com/testfan2019/p/12582118.html

需要 登录 后方可回复, 如果你还没有账号请点击这里 注册