如何使用Java使20个线程将数据写入CSV文件

时间:2019-04-11 17:58:21

标签: java multithreading mongodb csv java-io

我在mongo-db中拥有大量数据(数百万条记录)。我需要从一个集合中读取数据,然后执行一些过滤过程,然后再次从mongo-db中的另一个集合中匹配数据。我必须在csv文件中显示数据(此处使用的是CsvWriter),我可以将其作为单个程序/进程来执行,但要花很多时间(5到6个小时)。我想使用线程。

我的要求是:

假设如果我在db中有1000000条记录,则20个线程必须以每个线程5k的方式分配。如果有2000000条记录,则每个线程10k。我们还能使用20个线程同时使用CsvWriter将数据推入csv文件吗?

0 个答案:

没有答案