性能测试工具 求 python 高并发 kafka 的库,目前最多是 20 秒发 10w 条

花菜 · July 20, 2020 · Last by 花菜 replied at July 21, 2020 · 3659 hits
  • 目前使用的是 confluent_kafka,发送 10w 条 20 秒左右.
  • 必须要在 10w 条就要调用 flush 方法.不然超过 10w 的部分会丢失
  • 目前试过 python-kafka+ 多线程,效果不太理想,因为是同步的,并且不支持 gevent
  • 也试过 pykafka + gevent,丢消息严重. 求更高并发的库发送 kafka.有例子参考就最好了
    python 实在没有的话,go 或者 Java 也行. 谢谢各位大佬
共收到 2 条回复 时间 点赞
花菜 #2 · July 21, 2020 Author
少年 回复

试了一下这个,10w 只需要 1s 多点,确实比较猛

花菜 关闭了讨论 10 Dec 13:21
需要 Sign In 后方可回复, 如果你还没有账号请点击这里 Sign Up