在尝试使用Storm HDFS喷口时,我让Apache Nifi将文件移动到Storm正在侦听的HDFS目录中,但是只要apache nifi开始移动文件,Storm就会感觉到并开始处理,并注意到该文件没有被完全感动了。
我曾尝试从风暴方面使用conf.put(Configs.IGNORE_SUFFIX, ignoreSuffix)
并使用apache nifi updateAttribute
将文件重命名为.ignore
完全移动后,我需要重新命名文件,如何实现?还是还有其他方法?
答案 0 :(得分:1)
在写入HDFS时,NiFi会写入文件名,文件名开头应包含一个点,例如“ .foo.txt”,完成写入操作后,它将重命名为不带点的名称,例如“ foo”。文本文件”。因此,如果Storm可以忽略前缀,那么您应该可以忽略任何以点开头的内容。