当我们在Spring Batch中使用singleItemPeekableItemReader来读取csv时,是否可以使用多线程?

时间:2018-06-11 10:00:20

标签: spring multithreading spring-batch

我们在Spring批处理中使用singleItemPeekableItemReader来读取CSV时是否可以使用多线程?

我有一个包含10万条记录的CSV文件,需要使用Spring Batch读取该文件并将其加载到数据库中。我使用了4个线程。但是现在我需要根据条件组合行并一次读取。为此我使用了Spring批处理SingleItemPeekableItemReader。但在此之后我无法使用多线程。

如何为SingleItemPeekableItemReader实现多线程?

1 个答案:

答案 0 :(得分:2)

文件操作不应该是多线程的。建议单独使用单线程。如果您需要性能,则可以使用批处理操作。要获得更快的CSV读取操作,您可以使用univocity CSV解析器。它非常快,并提供了一些有用的方法。