物联网测试 运用 MQTT-JMeter 插件测试 MQTT 服务器性能

恒温 · July 17, 2018 · Last by 等待ing replied at June 26, 2019 · Last modified by admin simple · 4061 hits

MQTT简介

MQTT(Message Queuing Telemetry Transport,消息队列遥测传输)是IBM开发的一个即时通讯协议,它比较适合于在低带宽、不可靠的网络的进行远程传感器和控制设备通讯等,正在日益成为物联网通信协议的重要组成部分。MQTT是目前最流行的物联网协议之一,主要用于移动Push,移动IM,物联网M2M,物联网采集等,这些应用场景的特点是客户端的连接设备数比较多,那么如何在系统上线之前验证系统能否承受预先设计的压力呢?

XMeter因此专门开发(并维护)了MQTT JMeter插件,用户可以很方便地测试MQTT服务器的性能:添加MQTT连接、发布、订阅取样器,构造组合的应用场景,例如背景连接、多发少收、少发多收,计算消息转发时延等。利用该插件,我们为EMQ成功实施了包括百万级并发连接在内的一系列测试场景,这里有详细的测试报告。

今天我们来详细介绍一下怎么使用这个插件。

安装

github下载您需要的release版本, 解压mqtt-xmeter-jar-with-dependencies.jar.zip, 将生成的jar文件放到JMeter安装主目录的lib/ext下,重启JMeter,就可以看到插件成功加载。

插件各属性介绍

1.连接操作取样器

Server name or IP: 指向被测MQTT服务器地址。【注】为灵活起见,属性值都可以引用JMeter的系统或自定义变量。

Port number: 通常TCP连接的端口是1883, SSL连接则是8883。请参照服务器的具体配置。

Timeout(s): 连接超时设置,以秒为单位。

Protocols: 客户端与服务器通过SSL加密通道连接时,可以选择单向或者双向认证(Dual)。双向认证时,您还需要指定相应的信任秘钥库(Trust Key Store), 客户端证书,以及对应的文件保护密码(Secret)。

这些文件可以通过服务器的证书配置转化得到。例如,对于EMQ的安装部署,/etc/cert下就存放了自签证的CA,服务器及客户端证书,参考下面的命令就可以生成插件所需的.jks, .p12文件,secret自行指定即可。

export PATH=$PATH:<JDK_HOME>/bin

keytool -import -alias cacert -keystore emqtt.jks -file cacert.pem -storepass <Your_Secret> -trustcacerts -noprompt

keytool -import -alias client -keystore emqtt.jks -file client-cert.pem -storepass <Your_Secret>

keytool -import -alias server -keystore emqtt.jks -file cert.pem -storepass <Your_Secret>

openssl pkcs12 -export -inkey client-key.pem -in client-cert.pem -out client.p12 -password pass:<Your_Secret>

User authentication: 如果服务器配置了用户认证,您需要提供相应的用户名和口令。

ClientId prefix: 标识客户端的固定前缀,每个连接(虚拟用户)再添加一个uuid串,整个作为客户标识。

Keep alive(s): 心跳信号发送间隔。例如,300表示客户端每隔300秒向服务器发出ping请求,以保持连接活跃。

Connection keep time(s): 连接建立后,保持该连接的时长。例如,1800表示1800秒之后连接将被关闭,即使一直发送心跳信号。

Connect attempt max: 第一次连接过程中,尝试重连的最大次数。超过该次数则认为连接失败。

Reconnect attempt max: 后继连接过程中,尝试重连的最大次数。超过该次数则认为连接失败。

2.发布操作取样器

发布(Pub)取样器的连接相关属性与连接取样器完全相同,下面只介绍Pub特有的属性。


QoS Level: 服务质量,取值为0,1,2,分别代表MQTT协议规范里的至多一次(AT_MOST_ONCE),至少一次(AT_LEAST_ONCE),精确一次(EXACTLY_ONCE)

Topic name: 发布消息所属的话题 (订阅方可以根据话题不同选择订阅)

Add timestamp in payload: 如果勾选,发布的消息体开头会附带当前时间戳,利用它可以在消息接收端计算消息达到的延时。不勾选则只发送实际的消息体。

Message type: 目前支持三种消息类型

  • String: 普通字符串 (如上面截图所示)

  • Hex String: 以16进制数值表示的串,比如字符串Hello, 可以表示为48656C6C6F (其中,48在ascii表中对应字母H,依次类推)。通常16进制串用来构造非文本的消息体,例如描述某些私有的协议交互和控制信息等等。

  • Random string with fixed length: 按指定长度生成随机的串作为消息体。

3. 订阅操作取样器

QoS Level: 服务质量,含义与发布操作取样器相同。

Topic name: 订阅消息所属的话题。

Payload includes timestamp: 如果勾选,会从消息体开头处解析发送时间戳,用于计算消息的接收延时。

Debug response: 如果勾选,消息内容会打印在JMeter的响应结果中,用于调试目的。正式运行测试建议不勾选。

混合负载的测试场景

运用以上3种MQTT取样器,结合JMeter灵活的测试控制,您可以制定各种类型的测试场景。下面我们举一个例子,构造一个混合负载的场景。

¡ 连接者:虚拟用户数=10, 发起10个到服务器的背景连接,每2秒钟发一次心跳请求,15秒后断连。

¡ 发布者:虚拟用户数=5,每隔一秒发送一条32字节的随机串,带时间戳,循环10次结束。

¡ 订阅者:虚拟用户数=2,接收相应话题上的消息,每隔一秒输出采样间隔里接收到的消息统计,循环10次结束。

在JMeter中运行该场景,15秒钟左右运行结束。可以在测试结果树中看到每个操作的详细信息。表格视图的"Sample Time"列出了操作花费的时间(毫秒)。由于这次测试在本地,并发用户数很少,所以连接、消息发送、接收时延都很短。您可以指向实际的MQTT服务器,模拟更大的并发用户数。

在被测的EMQ服务器自己的度量仪表盘,我们可以看到连接、消息发送,接收等统计信息。

【注】服务器的"received", "sent"分别对应JMeter测试中的“发送者”和“订阅者”。

利用XMeter实施云上的高负载压力测试

JMeter支持的负载有限,而且压力机需要人工管理,为方便用户实施大规模的并发测试,XMeter性能测试云服务将JMeter支持的运行场景迁移到云端,按需“弹性”地分配测试资源,发起到目标机器的压力测试,衡量被测系统的性能表现。

我们只需上传调试好的JMeter脚本,在XMeter指定并发数和运行时间,就可以在网页上查看各项性能指标。

利用MQTT-JMeter插件,我们为EMQ成功实施了包括百万级并发连接在内的一系列测试场景,这里有详细的测试报告。

希望这个开源的插件和XMeter在线服务也能为您测试MQTT带来一些便利。如果有任何问题,请联系我们

新版插件新增功能介绍

1. ClientID

标识客户端的ClientId现在可以进行精确控制,而不是旧版本里只允许输入前缀,剩下的由系统自动生成。该功能是考虑到一些Azure的物联网平台的用户需要输入精确的ClientId。如下图所示:如果用户没有选中“Add random client id suffix”,那么ClientId输入框中的值就会被作为该虚拟用户的ClientId值。

2. 同虚拟用户下共享MQTT连接

之前的版本中,每创建一个Pub/Sub的Sampler都会生成一个MQTT连接,这对于想模拟一些物联网的场景的时候并不适用。比如某物联网设备除了向服务器发送传感器采集的数据之外,还需要接受从服务器端发送过来的控制消息,而这两部分发送和接收消息会使用同一个连接。现在Pub/Sub的Sampler提供了一个选项允许用户共享连接的选项。如下图所示增加的“Share conn in thread”。在同一个线程组中,如果有多个Sampler勾选了该选项,那么第一个被初始化的Sampler中的连接选项会被作为共享的连接的配置,剩下的Sampler中的连接配置会被忽略,因为使用的是第一个共享连接的配置。

下面是几个例子:

ThreadGroupSample1

PubSampler1 (shared connection), 该连接的配置作为共享连接的设置

SubSampler1 (shared connection), 使用在PubSampler1创建的连接,该Sampler中的配置将被忽略

ThreadGroupSample2

PubSampler1 (shared connection), 该连接的配置作为共享连接的设置

SubSampler1 (not shared connection), 会创建一个新的连接,因为使用的是非共享的连接

ThreadGroupSample3

PubSampler1 (not shared connection), 会创建一个新的连接,因为使用的是非共享的连接

SubSampler1 (shared connection), 该连接的配置作为共享连接的设置

SubSampler2 (shared connection), 使用在SubSampler1创建的连接,该Sampler中的配置将被忽略

3. Sub Sampler支持订阅多个Topic

现在Sub Sampler支持订阅多个主题,主题之间用逗号分隔

4. Sub可以控制接收消息并且生成一条测试记录的方式

如下图所示,“Sample on”下拉列表框中允许用户指定产生一条测试记录的方式,缺省为“elapsed with specified time(ms)”,意思为在指定的时间区间(单位为毫秒)生成一条测试记录,不管在该测试区间段里有没有收到消息;另外的一种方式是“number of received messages”,该选项意味着当前虚拟用户只有在收到了指定数目的消息的时候才会生成一条测试记录。

5.Pubtopic的使用变成了针对单个虚拟用户

新版本的Pub实现中,用户指定了topic后,只会使用第一次建立连接的时候传入的topic的名字,而不管传入的是否是一个变量值。

如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!
共收到 16 条回复 时间 点赞

拜读拜读,学习学习。🙇

用了多少服务器实现了百万级连接?

用的XMeter在线性能测试服务完成的,有两个疑问:
1、大概花了多少钱啊?
2、这个是XMeter的广告吗?

zailushang 回复

xmeter是有些要收费的。他们有官网可以去看下。

小马 回复

没有免费的,我看XMeter的云服务都是需要收费的。(免费的,虚拟用户低于10,请求量低于100,不能满足性能测试要求)

zailushang 回复

他们还有github开源一部分内容。简书上也有个专题。

小马 回复

好的,谢谢,我去看看

恒温 #8 · July 18, 2018 作者
zailushang 回复

他们有开源的,社区是推他们开源的东西。而且没有收费😄

jacexh 回复

用了20台机器模拟百万连接

zailushang 回复

在线接口测试免费使用,欢迎浏览:https://api.xmeter.net/

前一阵子有用过这个插件作为消息发送端,消息接收端用的go写的client,当时用了12台机器模拟70W连接,从压测结果来看,mqtt服务器确实性能还可以,

我过后也介绍一些我自己写的在线Jmeter用例管理吧,点我头像进github(帮忙点个星星最好了多谢)。没想到这还能整个公司出来。

恒温 #13 · July 20, 2018 作者
zyanycall 回复

期待来分享下

那个 我们也是做MQTT协议的 集成在IOt 平台上,可以交流交流

我直接让开发写成http接口形式然后压测,相应速度极快,但有丢消息和数据积压入库速度慢的情况

楼主你好,研究了一下这方面,IP、端口,登录口令都输入对了,就是连接不上服务器,一直报错501,SSL单向的,求解

需要 Sign In 后方可回复, 如果你还没有账号请点击这里 Sign Up