PDI-从超过N天的FTP收集文件

Question

我有一份工作将使用Get a file with FTP从FTP收集数据，我希望它仅收集昨天的文件或早于n天的文件或基于特定日期的文件。

那怎么办？有什么办法或可能吗？

我知道的是Get a file with FTP仅将文件直接从FTP复制到目标文件夹。因此，我不能使用任何字段并将其分配给JavaScript变量来创建条件。

我的要求是仅将昨天或...的文件从FTP移到我需要的位置，而不是全部，因为我有很多文件大小约为30K-40K的文件，如果我需要很多时间，去做。 下面是我设计的照片。

Answer 1

有一个Scripting/Shell作业条目，您可以在其中放置任何shell脚本，包括：

find . -mindepth 1 -maxdepth 1 -mtime -7  -exec mv -t /destination/path {} + 

有关shell脚本的概述，请看：https://unix.stackexchange.com/questions/207679/moving-files-modified-after-a-specific-date

Answer 2

通过在转换中使用“获取文件名”步骤，您可以访问FTP文件（通过VFS）及其属性，即“ lastmodifiedtime”。

使用此信息，您可以按日期进行简单过滤，仅下载早于N天的文件或您需要的任何其他过滤器。有了它，您就可以移动，下载或进行任何其他与文件相关的操作。