TesterHome

性能测试工具 求 python 高并发 kafka 的库,目前最多是 20 秒发 10w 条

花菜 · 2020年07月20日 · 最后由 花菜 回复于 2020年07月21日 · 2727 次阅读
  • 目前使用的是 confluent_kafka,发送 10w 条 20 秒左右.
  • 必须要在 10w 条就要调用 flush 方法.不然超过 10w 的部分会丢失
  • 目前试过 python-kafka+ 多线程,效果不太理想,因为是同步的,并且不支持 gevent
  • 也试过 pykafka + gevent,丢消息严重. 求更高并发的库发送 kafka.有例子参考就最好了
    python 实在没有的话,go 或者 Java 也行. 谢谢各位大佬
共收到 2 条回复 时间 点赞
花菜 关闭了讨论 12月10日 13:21
花菜 #2 · 2020年07月21日 Author
对 少年 回复

试了一下这个,10w 只需要 1s 多点,确实比较猛

需要 登录 后方可回复, 如果你还没有账号请点击这里 注册。