Kafka压缩类型版本-0.10.0.1

时间:2017-02-15 03:38:45

标签: apache-kafka snappy

我一直在使用性能测试工具测试kafka压缩类型。 基本上我使用内置工具向具有不同压缩模式的kafka集群发送1000000条消息。我可以看到压缩正在使用gzip和lz4,但数据似乎没有得到snappy类型的压缩。

此外,我还检查了网络流量的snappy,它在客户端压缩,但似乎在经纪人处有问题。

发送前

存储:

5.0K    ./test_none-0
1.0K    ./test_gzip-0
3.0K    ./test_snappy-0
1.0K    ./test_lz4-0

运行以下命令将1M消息发布到服务器

/home/sysgenu/kafka/kafka_2.10-0.10.0.1/bin/kafka-producer-perf-test.sh --num-records 1000000 --throughput 100000 --record-size 1000 --topic test_none --producer-props bootstrap.servers=ldnpsr000001131:9092,gbrcsr000000096:9092
/home/sysgenu/kafka/kafka_2.10-0.10.0.1/bin/kafka-producer-perf-test.sh --num-records 1000000 --throughput 100000 --record-size 1000 --topic test_snappy --producer-props bootstrap.servers=ldnpsr000001131:9092,gbrcsr000000096:9092 compression.type=snappy
/home/sysgenu/kafka/kafka_2.10-0.10.0.1/bin/kafka-producer-perf-test.sh --num-records 1000000 --throughput 100000 --record-size 1000 --topic test_gzip --producer-props bootstrap.servers=ldnpsr000001131:9092,gbrcsr000000096:9092 compression.type=gzip
/home/sysgenu/kafka/kafka_2.10-0.10.0.1/bin/kafka-producer-perf-test.sh --num-records 1000000 --throughput 100000 --record-size 1000 --topic test_lz4 --producer-props bootstrap.servers=ldnpsr000001131:9092,gbrcsr000000096:9092 compression.type=lz4

发布后检查存储

494M    ./test_none-0
96M     ./test_gzip-0
500M    ./test_snappy-0
25M     ./test_lz4-0

我为什么没有为快乐而感到高兴?

感谢您的帮助吗?

0 个答案:

没有答案