将整个文件从源码加载到HDFS中

时间:2015-07-17 08:15:58

标签: flume

如何获取源文件名,因为它是从源代码到水槽中的HDFS?

Ex:源文件/usr/sample.txt hdfs:/tmp/sample.txt不像flumeevetns.23343.tmp

如何停止附加时间戳和.tmp?例如:flumeevent.12334343.tmp(这里12334343.tmp)我不想要它。

如何从Flume读取整个文件?

如何阅读Flume中的csv文件?

1 个答案:

答案 0 :(得分:1)

您需要为spooldir添加一个参数,该参数会添加一个false的标题 默认值。

  

agentname.sources.sourcename.fileHeader =真

它将保留相同的文件名并推入HDFS。