当我们在Spring Batch中使用singleItemPeekableItemReader来读取csv时，是否可以使用多线程？

Question

我们在Spring批处理中使用singleItemPeekableItemReader来读取CSV时是否可以使用多线程？

我有一个包含10万条记录的CSV文件，需要使用Spring Batch读取该文件并将其加载到数据库中。我使用了4个线程。但是现在我需要根据条件组合行并一次读取。为此我使用了Spring批处理SingleItemPeekableItemReader。但在此之后我无法使用多线程。

如何为SingleItemPeekableItemReader实现多线程？

Answer 1

文件操作不应该是多线程的。建议单独使用单线程。如果您需要性能，则可以使用批处理操作。要获得更快的CSV读取操作，您可以使用univocity CSV解析器。它非常快，并提供了一些有用的方法。