测试之家

性能测试工具 JMeter 与 Locust 压测结果比对

Tesla Lau · 2018年05月15日 · 最后由 杨静 回复于 2022年07月21日 · 6173 次阅读

大家好，最近使用 Locust 做了一些压测。看网上的说法，Locust 的统计结果不是很准确，所以我用 JMeter 和 Locust 对同一个 api 做了一下压测。
Api 使用 flask-restful 在本地部署的一个，直接使用的官网例子：

from flask import Flask
from flask_restful import reqparse, abort, Api, Resource

app = Flask(__name__)
api = Api(app)

TODOS = {
    'todo1': {'task': 'build an API'},
    'todo2': {'task': '?????'},
    'todo3': {'task': 'profit!'},
}


def abort_if_todo_doesnt_exist(todo_id):
    if todo_id not in TODOS:
        abort(404, message="Todo {} doesn't exist".format(todo_id))

parser = reqparse.RequestParser()
parser.add_argument('task')


# Todo
# shows a single todo item and lets you delete a todo item
class Todo(Resource):

    def get(self, todo_id):
        abort_if_todo_doesnt_exist(todo_id)
        return TODOS[todo_id]

    def delete(self, todo_id):
        abort_if_todo_doesnt_exist(todo_id)
        del TODOS[todo_id]
        return '', 204

    def put(self, todo_id):
        args = parser.parse_args()
        task = {'task': args['task']}
        TODOS[todo_id] = task
        return task, 201


# TodoList
# shows a list of all todos, and lets you POST to add new tasks
class TodoList(Resource):

    def get(self):
        return TODOS

    def post(self):
        args = parser.parse_args()
        todo_id = int(max(TODOS.keys()).lstrip('todo')) + 1
        todo_id = 'todo%i' % todo_id
        TODOS[todo_id] = {'task': args['task']}
        return TODOS[todo_id], 201

##
# Actually setup the Api resource routing here
##
api.add_resource(TodoList, '/todos')
api.add_resource(Todo, '/todos/<todo_id>')


if __name__ == '__main__':
    app.run(debug=True)

调试 get 请求http://localhost:5000/todos，成功返回

使用 Locust 的压测结果：（使用 500 个并发用户）

from locust import HttpLocust, TaskSet, task
from datetime import datetime
import random
from re import search


class UserBehavior(TaskSet):
    @task
    def chushen(self):
        with self.client.get("/todos" , catch_response=True) as rp:
            rp.encoding = 'utf-8'
            if 'build an API' in rp.text:
                rp.success()
            else:
                rp.failure(rp.text)

class WebsiteUser(HttpLocust):
    task_set = UserBehavior
    host = "http://localhost:5000"

使用 JMeter 的压测结果：（使用 500 个并发用户）

以上测试都是在我的本机上进行的，可以看到使用 Locust 压测时，fail 的 request 很少，只是 tps 不是很高，平均只有 150rps，但是使用 JMeter 压测时，错误很多，下面是报错的一些截图：

做这样一个比对的原因，是因为我想选择其中一个做为将来的主力测试工具，所以希望所选择的工具在测试结果的准确性，施压能力上都很不错。我个人比较喜欢 Locust，脚本写起来爽，但是对压测结果的准确性上还有点怀疑。大家觉得哪个比较好呢？

「原创声明：保留所有权利，禁止转载」
2 个赞
共收到 17 条回复 时间 点赞
0x88 #1 · 2018年05月15日

我还是相信 jmeter

arrow #16 · 2018年05月15日

还是觉得 JMeter 比较好，并发这些可以到很高
Locust 优点就是写用例很方便
如果能把两者的优点结合起来就好了，Python 生成 jmx 脚本，然后 JMeter 去 Run..😀 😀

Jacc #3 · 2018年05月15日

不应该差这么多吧，jvm 配置了吗，并发数多对比几组看看呢，比如 50,100,150,200,300；
为啥 jmeter 吞吐量>并发数呢，不太懂；这个应该是和 locust 机制不一样吧
刚试了一下，jmeter 100 个线程数，一直循环，吞吐量 1800 多，有出错的情况 0.02%，如下

java.net.SocketException: Socket closed
    at java.net.SocketInputStream.socketRead0(Native Method)
    at java.net.SocketInputStream.socketRead(SocketInputStream.java:116)
    at java.net.SocketInputStream.read(SocketInputStream.java:171)
    at java.net.SocketInputStream.read(SocketInputStream.java:141)
    at org.apache.http.impl.io.AbstractSessionInputBuffer.fillBuffer(AbstractSessionInputBuffer.java:161)
    at org.apache.http.impl.io.SocketInputBuffer.fillBuffer(SocketInputBuffer.java:82)
    at org.apache.http.impl.io.AbstractSessionInputBuffer.readLine(AbstractSessionInputBuffer.java:278)
    at org.apache.http.impl.conn.DefaultHttpResponseParser.parseHead(DefaultHttpResponseParser.java:138)
    at org.apache.http.impl.conn.DefaultHttpResponseParser.parseHead(DefaultHttpResponseParser.java:56)
    at org.apache.http.impl.io.AbstractMessageParser.parse(AbstractMessageParser.java:259)
    at org.apache.http.impl.AbstractHttpClientConnection.receiveResponseHeader(AbstractHttpClientConnection.java:286)
    at org.apache.http.impl.conn.DefaultClientConnection.receiveResponseHeader(DefaultClientConnection.java:257)
    at org.apache.jmeter.protocol.http.sampler.hc.ManagedClientConnectionImpl.receiveResponseHeader(ManagedClientConnectionImpl.java:199)
    at org.apache.jmeter.protocol.http.sampler.MeasuringConnectionManager$MeasuredConnection.receiveResponseHeader(MeasuringConnectionManager.java:212)
    at org.apache.http.protocol.HttpRequestExecutor.doReceiveResponse(HttpRequestExecutor.java:273)
    at org.apache.http.protocol.HttpRequestExecutor.execute(HttpRequestExecutor.java:125)
    at org.apache.http.impl.client.DefaultRequestDirector.tryExecute(DefaultRequestDirector.java:684)
    at org.apache.http.impl.client.DefaultRequestDirector.execute(DefaultRequestDirector.java:486)
    at org.apache.http.impl.client.AbstractHttpClient.doExecute(AbstractHttpClient.java:835)
    at org.apache.http.impl.client.CloseableHttpClient.execute(CloseableHttpClient.java:83)
    at org.apache.jmeter.protocol.http.sampler.HTTPHC4Impl.executeRequest(HTTPHC4Impl.java:697)
    at org.apache.jmeter.protocol.http.sampler.HTTPHC4Impl.sample(HTTPHC4Impl.java:455)
    at org.apache.jmeter.protocol.http.sampler.HTTPSamplerProxy.sample(HTTPSamplerProxy.java:74)
    at org.apache.jmeter.protocol.http.sampler.HTTPSamplerBase.sample(HTTPSamplerBase.java:1189)
    at org.apache.jmeter.protocol.http.sampler.HTTPSamplerBase.sample(HTTPSamplerBase.java:1178)
    at org.apache.jmeter.threads.JMeterThread.executeSamplePackage(JMeterThread.java:490)
    at org.apache.jmeter.threads.JMeterThread.processSampler(JMeterThread.java:416)
    at org.apache.jmeter.threads.JMeterThread.run(JMeterThread.java:250)
    at java.lang.Thread.run(Thread.java:748)
lofbat #4 · 2018年05月15日

locust 不清楚，jmeter 你贴的这两个错误，第二个是服务端连接数限制的问题，和 jmeter 无关；第一个是接口被占用，也可以优化配置解决

Tesla Lau #5 · 2018年05月15日 Author
对 lofbat 回复

谢谢，我那个 api 是直接用 flask-restful 本地起的一个，可能本身就不支持那么高的并发。有没有比较方便本地直接配置的又支持高并发的 api 推荐推荐呀？

战 神 #6 · 2018年05月15日

可以尝试在相同的客户机开起同样的线程数，并且对同一个相同的服务，来做并发测试，此时可以观察客户机的当前性能，注意是客户机，不是被测服务设备。此时你会发现。。。jmeter 的客户机损耗性能比起 locust 好太多了。 python 虽简单，但在高并发测试场景下，客户机的资源利用成本是非常需要考虑的

Tesla Lau #7 · 2018年05月15日 Author
对 Jacc 回复

我也不太懂，刚刚把 api 改成了通过 tornado 实现的，抄的网上的例子：

import os
import tornado.web
import tornado.ioloop

class MainHandler(tornado.web.RequestHandler):
    def get(self):
        self.write("Hello , SELECT\n")

    def post(self):
        self.write("hello , ADD\n")

    def put(self):
        self.write("hello , UPDATE\n")

    def delete(self):
        self.write("hello , DELETE\n")


if __name__ == "__main__":
    settings = {
        'debug' : True,
        'static_path' : os.path.join(os.path.dirname(__file__) , "static") ,
        'template_path' : os.path.join(os.path.dirname(__file__) , "template") ,
    }

    application = tornado.web.Application([
        (r"/" , MainHandler),
    ] , **settings)
    application.listen(8888)
    tornado.ioloop.IOLoop.instance().start()

300 并发用户，Locust 压测结果：

300 并发用户，JMeter 压测结果：

这差距也太大了点。。。

Elegantwind #8 · 2018年05月21日
对 战 神 回复

说的 没毛病 我这就是仗着有非线上业务的机器所以我 暂时 还是继续用着 locust 但是大趋势 还会用 jmeter 实惠些 不过真心 没有 locust 来的爽快

jacexh #9 · 2018年05月21日

会写 go 吗？我这有个开源的分布式测试框架

Tesla Lau #10 · 2018年05月24日 Author
对 jacexh 回复

求推荐

prettfool #11 · 2018年09月17日

作者大大，这个问题现在解决了吗，已经放弃 locust 了吗，最近在学习 locust，对比 jmeter 的结果，吓我一跳

吴振国 #12 · 2018年09月26日

@jacexh 你的分布式开源框架可以分享下吗？

Richard1ybb #13 · 2018年09月27日
对 jacexh 回复

想学习下

测试初妹 #14 · 2019年03月16日
对 吴振国 回复

https://github.com/jacexh/ultron 应该是这个。。。。快一年没有更新了。。。没有中文使用文档，慎入。

捉虫子的小强 #16 · 2019年07月11日

不知道压测怎么选型工具类啊

roc #16 · 2021年01月12日

这儿有一篇 jemeter 和 locust 的对比，个人使用也觉得比较贴近：
https://www.cnblogs.com/testfan2019/p/12582118.html

杨静 #17 · 2022年07月21日
对 roc 回复

这个没啥参考意义呢

需要 登录 后方可回复, 如果你还没有账号请点击这里 注册。