我想构建一个类似于ETL过程的nifi过程,(即)nifi过程将在一天内执行一次并从某个目录中选择一个文件。该文件包含一个日期,我想将其存储为环境变量,第二天进程运行时我想比较文件中的日期和我在Variable中存储的日期,有没有办法在NIFI中实现这一点没有将日期值存储在任何表中?我尝试存储在一个完美的文件中,但是有更好的方法吗?
答案 0 :(得分:0)
@Jai, 您可以使用
使用NiFi来实现1.从某些目录中选择一个文件使用GetHDFS,List / FetchHDFS(或)Getfile,List / FetchFile 2.提取日期使用提取文本处理器使用可以将日期作为属性提取的正则表达式添加新属性。 3.存储提取的属性Use Distributemapcache Processor来存储Extracted Date属性。
4.对于第二天运行,使用Fetch Distributecachemap处理器来提取存储日期并将变量与已存在的变量进行比较 distributemapcache处理器。