连续地将本地文件与从S3下载的文件组合在一起

时间:2017-02-20 01:47:22

标签: apache-nifi

我有一个Nifi流程,我从S3获取文件。通过S3提取一对文件,然后将其传递到MergeContent处理器。接下来,每个文件对都需要一个README文件。

README文件始终相同,我已将其存储在本地。我有一个ExecuteStreamCommand,它接收来自MergeContent处理器的内容。

我尝试使用README / MergeContent组合将ListFile文件传入FetchFile处理器,但它无法按预期工作。我想我要找的最终结果是MergeContent包,其中包含从S3 + README文件下载的一对文件。

1 个答案:

答案 0 :(得分:0)

我认为在这种情况下,您需要GetFile使用README - 路径是静态的,您可以将Keep Source File设置设置为true in为了不断检索相同的内容。

ListFile / FetchFile可能无法正常工作,因为一旦ListFile从目录中检索文件名,它就会将时间戳存储在其本地状态并且无法检索文件早于下次执行时的文件。