我想了解如何实施Partitioner<T>
。
我的情况:
我们从文件中读取并插入Azure表存储。我们使用任务来加速这个过程。该文件有近10,000,000行。
我尝试使用并行执行和分区来实现更优雅的解决方案。我想将这个庞大的9,000,000组分成一组分区集,并将它们分配到30-50个线程中。
我认为我需要Partitioner<List<List<TableEntity>>>
的动态实现。我有几个例子,一个带有StringPartitioner的例子,但它对我的情况并没有多大帮助,因为我需要List<List<TableEntity>>
的IEnumerator。
如果这一切都令人困惑,请告诉我,以便澄清。
问题是如何在List<List<TableEntity>>
中实现动态分区程序。