如何使用spring批处理读取具有不同标题的多个平面文件并立即处理它们

时间:2019-12-03 20:47:15

标签: java spring-batch

我有多个文件,文件头不同,如下所示。每个文件中的字段数不相同。因此,从技术上讲,我们无法使用春季批处理MultiResourceItemReader来读取它们。

file1.txt
--------------
Id|Name

file2.txt
-----------
id|Dept

file2.txt
--------------
id|Salary|desig  

读取所有文件后,我希望所有文件的数据均可用,并希望传递给processor进行处理,并基于id对数据进行一些查找,最后生成像下面这样的文件

outputfile.txt

id|name|dept|salary|desig

如果不处理它们,我们可以将它们写入输出文件。但是,这里唯一需要关注的是如何从所有文件中读取数据并将数据存储在Map或任何数据结构中,然后应用业务逻辑,然后将数据写入单个文件。是否可以并行读取这些文件并存储可用于处理器或下一步的数据?

0 个答案:

没有答案