可以将1.5手柄/压缩文件传输到hdfs接收器

时间:2015-10-09 12:33:34

标签: hadoop flume biginsights

可以将1.5个句柄/传输压缩文件传输到hdfs接收器。 我尝试使用blobdeserializer,压缩流和编解码器作为gzip。 我使用的配置选项如下

agent1.sources.c1.deserializer =org.apache.flume.sink.solr.morphline.BlobDeserializer$Builder
agent1.sinks.c1s1.hdfs.fileType = CompressedStream
agent1.sinks.c1s1.hdfs.writeFormat = Text
agent1.sinks.c1s1.hdfs.filePrefix = %{file}
agent1.sinks.c1s1.hdfs.codeC = gzip
agent1.sinks.c1s1.hdfs.serializer.compressionCodec = gzip

0 个答案:

没有答案