NiFi提供的Storm HDFS锁定文件

时间:2018-09-17 15:41:39

标签: hdfs apache-storm apache-nifi

在尝试使用Storm HDFS喷口时,我让Apache Nifi将文件移动到Storm正在侦听的HDFS目录中,但是只要apache nifi开始移动文件,Storm就会感觉到并开始处理,并注意到该文件没有被完全感动了。

我曾尝试从风暴方面使用conf.put(Configs.IGNORE_SUFFIX, ignoreSuffix) 并使用apache nifi updateAttribute将文件重命名为.ignore 完全移动后,我需要重新命名文件,如何实现?还是还有其他方法?

1 个答案:

答案 0 :(得分:1)

在写入HDFS时,NiFi会写入文件名,文件名开头应包含一个点,例如“ .foo.txt”,完成写入操作后,它将重命名为不带点的名称,例如“ foo”。文本文件”。因此,如果Storm可以忽略前缀,那么您应该可以忽略任何以点开头的内容。