Question

是否可以通过Spark流向gafip压缩数据写入Kafka？是否有任何示例/示例显示如何在Spark流媒体作业中从Kafka写入和读取压缩数据？

Answer 1

是的，这是可能的。只需将compression.type设置为gzip。

有关完整示例，请参阅here。

// Zookeeper connection properties
val props = new HashMap[String, Object]()
props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, brokers)
props.put(ProducerConfig.COMPRESSION_TYPE_CONFIG, "gzip")
// add other props as needed

val producer = new KafkaProducer[String, String](props)

Answer 2

您可以使用CLI或在server.properties文件中设置。

- compression-codec [compression-codec]压缩编解码器：＆＃39; none＆＃39;，＆＃39; gzip＆＃39;，＆＃39; snappy＆＃39;或＆＃39; lz4＆＃39;。如果指定没有值，则默认为＆＃39; gzip＆＃39;。 0是默认值。

https://cwiki.apache.org/confluence/display/KAFKA/Compression

如何在Spark Streaming中将压缩数据写入Kafka？

2 个答案: