我在mongo-db中拥有大量数据(数百万条记录)。我需要从一个集合中读取数据,然后执行一些过滤过程,然后再次从mongo-db中的另一个集合中匹配数据。我必须在csv文件中显示数据(此处使用的是CsvWriter
),我可以将其作为单个程序/进程来执行,但要花很多时间(5到6个小时)。我想使用线程。
我的要求是:
假设如果我在db中有1000000条记录,则20个线程必须以每个线程5k的方式分配。如果有2000000条记录,则每个线程10k。我们还能使用20个线程同时使用CsvWriter
将数据推入csv文件吗?