我一直在使用性能测试工具测试kafka压缩类型。 基本上我使用内置工具向具有不同压缩模式的kafka集群发送1000000条消息。我可以看到压缩正在使用gzip和lz4,但数据似乎没有得到snappy类型的压缩。
此外,我还检查了网络流量的snappy,它在客户端压缩,但似乎在经纪人处有问题。
发送前存储:
5.0K ./test_none-0
1.0K ./test_gzip-0
3.0K ./test_snappy-0
1.0K ./test_lz4-0
运行以下命令将1M消息发布到服务器
/home/sysgenu/kafka/kafka_2.10-0.10.0.1/bin/kafka-producer-perf-test.sh --num-records 1000000 --throughput 100000 --record-size 1000 --topic test_none --producer-props bootstrap.servers=ldnpsr000001131:9092,gbrcsr000000096:9092
/home/sysgenu/kafka/kafka_2.10-0.10.0.1/bin/kafka-producer-perf-test.sh --num-records 1000000 --throughput 100000 --record-size 1000 --topic test_snappy --producer-props bootstrap.servers=ldnpsr000001131:9092,gbrcsr000000096:9092 compression.type=snappy
/home/sysgenu/kafka/kafka_2.10-0.10.0.1/bin/kafka-producer-perf-test.sh --num-records 1000000 --throughput 100000 --record-size 1000 --topic test_gzip --producer-props bootstrap.servers=ldnpsr000001131:9092,gbrcsr000000096:9092 compression.type=gzip
/home/sysgenu/kafka/kafka_2.10-0.10.0.1/bin/kafka-producer-perf-test.sh --num-records 1000000 --throughput 100000 --record-size 1000 --topic test_lz4 --producer-props bootstrap.servers=ldnpsr000001131:9092,gbrcsr000000096:9092 compression.type=lz4
发布后检查存储
494M ./test_none-0
96M ./test_gzip-0
500M ./test_snappy-0
25M ./test_lz4-0
我为什么没有为快乐而感到高兴?
感谢您的帮助吗?