Spring Batch：使用多线程进行多文件处理

Question

我要求我必须处理多个文件（例如300个csv文件）。

我需要阅读 - ＆gt;过程 - ＆gt;写，每个单独的文件，因为我需要在数据上应用一些转换逻辑。

对于每个输入文件，都会有相应的转换文件。所以对于300个输入文件，我们将有300个输出文件。 最后，需要将所有300个输出文件合并为一个文件，该文件将被压缩，然后通过FTP / SFTP传输到远程位置。

比如说，我们每小时都要处理一套新的300文件，我们将要求我们应用上述处理，因此我们将按小时安排上述工作。

1. 如何使用Spring Batch处理上述场景中的多文件处理？
2. 如何在多个线程中进行上述处理？

请建议。 提前谢谢。

Answer 1

您可以使用spring task execution and scheduling，然后使用java ThreadPoolExecutor

在SO上查看this answer这是一个非常简单的例子。