标签： compression apache-kafka flume
我正在从Kafka读取数据并沉入HDFS。有没有什么方法Flume可以压缩数据和存储在HDFS中。 （数据未在Kafka中压缩）
答案 0 :(得分：0)
尝试在接收器配置中设置这两个参数：
hdfs.codeC= one of following -> gzip, bzip2, lzo, lzop, snappy hdfs.fileType=CompressedStream
hdfs.codeC= one of following -> gzip, bzip2, lzo, lzop, snappy
hdfs.fileType=CompressedStream
flume user guide