测试之家
性能测试工具
求 python 高并发 kafka 的库,目前最多是 20 秒发 10w 条
Topics
QA
招聘
社区学堂
新
开源项目
活动
Wiki
Sign Up
Sign In
性能测试工具
求 python 高并发 kafka 的库,目前最多是 20 秒发 10w 条
花菜
·
July 20, 2020
· Last by
花菜
replied at
July 21, 2020
· 3659 hits
目前使用的是 confluent_kafka,发送 10w 条 20 秒左右.
必须要在 10w 条就要调用 flush 方法.不然超过 10w 的部分会丢失
目前试过 python-kafka+ 多线程,效果不太理想,因为是同步的,并且不支持 gevent
也试过 pykafka + gevent,丢消息严重.
求更高并发的库发送 kafka.有例子参考就最好了
python 实在没有的话,go 或者 Java 也行. 谢谢各位大佬
共收到
2
条回复
时间
点赞
少年
#1
·
July 21, 2020
https://github.com/confluentinc/confluent-kafka-go
花菜
#2
·
July 21, 2020
Author
对
少年
回复
试了一下这个,10w 只需要 1s 多点,确实比较猛
花菜
关闭了讨论
10 Dec 13:21
需要
Sign In
后方可回复, 如果你还没有账号请点击这里
Sign Up
。
花菜
@Rikasai
共收到
2
条回复
有新回复!
点击这里立即载入