Question

我正在使用spooldir源将.gz文件从SpoolDirectory移动到HDFS。我正在使用以下配置，

==========================

a1.channels = ch-1  
a1.sources = src-1  
a1.sinks = k1  

a1.channels.ch-1.type = memory  
a1.channels.ch-1.capacity = 1000  
a1.channels.ch-1.transactionCapacity = 100  

a1.sources.src-1.type = spooldir  
a1.sources.src-1.channels = ch-1  
a1.sources.src-1.spoolDir = /path_to/flumeSpool  
a1.sources.src-1.deserializer=org.apache.flume.sink.solr.morphline.BlobDeserializer$Builder  
a1.sources.src-1.basenameHeader=true  
a1.sources.src-1.deserializer.maxBlobLength=400000000  

a1.sinks.k1.type = hdfs  
a1.sinks.k1.channel = ch-1  
a1.sinks.k1.hdfs.path = hdfs://{namenode}:8020/path_to_hdfs  

a1.sinks.k1.hdfs.useLocalTimeStamp = true  
a1.sinks.k1.hdfs.rollInterval =100  
a1.sinks.k1.hdfs.rollCount=0  
a1.sinks.k1.hdfs.rollSize=0  
a1.sinks.k1.hdfs.fileType = CompressedStream  
a1.sinks.k1.hdfs.codeC=gzip  
a1.sinks.k1.hdfs.callTimeout=120000

========================================

因此文件会转移到HDFS，但最后会追加time_in_millis.gz扩展名。此外，当我尝试在HDFS中压缩文件时（通过终端复制），它会显示未知字符。所以不确定发生了什么。

我想在转移到HDFS后保持相同的文件名
我希望能够解压缩文件并阅读内容

有人可以帮忙吗？

无法通过Flume假脱机目录

0 个答案: