在Nifi中生成动态URL的最佳方法

时间:2020-05-18 05:24:28

标签: apache-nifi

我正在使用Nifi生成动态URL,以从每周上传一次的网站自动获取文件。 例如,URL格式看起来像

https://XXX_030220_030820_YYY.zip(第一周) https://XXX_030920_031520_YYY.zip(第二周),依此类推。...

,此格式又持续了几周,其中的动态数字代表相应周的开始日期(MMddyy)和结束日期(MMddyy)。

我所做的解决方案是使用类似的处理器

  1. GetFile-获取已粘贴URL的文本文件

  2. ExtractText-将URL保存在属性中

  3. UpdateAttribute-使用nifi表达式语言,其substringAfter(XXX)和substringBefore(YYY)带有下划线,然后使用getDelimitedField通过消除下划线将两个数字保存在两个单独的属性中,然后增加7天使用toDate和toNumeber两者都可以准确地给出下个星期的日期。然后我替换了https://XXX_ {property1} _ {property2} _YYY.zip中的两个属性值,并将此链接保存为属性。

  4. InvokeHttp-获取上周上传的文件

  5. PutFile-将新生成的URL放入新的文本文件中,并提供GetFile处理器中提到的路径,以便下一次迭代getFile将获取此文本文件,然后再次进行处理以生成下一周的url

此过程运行良好,但似乎不是最佳解决方案。有人可以帮我为我的用例提供最佳解决方案吗?

谢谢

0 个答案:

没有答案