设计批处理作业以处理FTP文件夹中的多个文件

时间:2019-02-08 18:31:56

标签: multithreading architecture spring-batch system-design spring-batch-tasklet

我想设计一个批处理作业,以处理文件夹中的多个zip文件。基本上,输入的zip文件包含一个目录结构,最后一个目录包含CSV文件和一组PDF。作业应获取zip文件并解压缩,然后根据叶节点文件夹中的索引文件将其上传到外部系统和数据库。

例如:输入zip文件结构
input1.zip
-文件夹1
   -> Folder2
       -> abc.pdf
...
...
...
-> cdf.pdf
       -> metadata.csv

我可以添加spring集成并在FTP应对完成后立即调用作业。但是,我的问题是,我应该如何设计作业以拾取多个zip文件并允许它们并行处理。

由于每个zip文件大约需要10分钟来处理,因此我需要多个实例来有效地处理zip文件。

赞赏任何建议。谢谢。

0 个答案:

没有答案