Kafka：Confluent的HDFS连接器是否支持Snappy压缩？

Question

我在HDFS连接器文档https://docs.confluent.io/current/connect/connect-hdfs/docs/configuration_options.html上看不到任何压缩配置。

• 它是否支持压缩？
• 如果是，我需要在属性文件中添加什么？

Answer 1

最近在HDFS Connector for Avro中添加了Snappy压缩功能。要启用它，您需要将属性avro.codec设置为snappy。

使用Parquet，它从一开始就可用，它是导出镶木地板文件时使用的编解码器。

这是为Avro添加它的PR：

https://github.com/confluentinc/kafka-connect-hdfs/pull/255

此配置属性将在即将发布的4.1.0版连接器中提供。这也是在更新文档的链接以反映此添加时的情况。