Question

我有一个包含JSON数据的文件。如何使用控制台生产者以压缩格式（gzip）将数据发送到主题？请注意-我可以通过用Java编写自定义生产器来实现。我的问题特别是关于控制台生产者。

Answer 1

如果您自己输入kafka-console-producer，则会获得完整的选项列表。您会看到它包括以下内容...

--compression-codec [String:             The compression codec: either 'none',  
  compression-codec]                       'gzip', 'snappy', 'lz4', or 'zstd'.  
                                           If specified without value, then it  
                                           defaults to 'gzip'

所以您可以运行类似...

cat my-data.json | kafka-console-producer --broker-list kafka:9092 --topic json-topic --compression-codec gzip

如何使用Kafka控制台生产者处理压缩数据

1 个答案: