如何实现自定义分区程序<t> </t>

时间:2014-11-25 00:14:46

标签: c# multithreading partitioning plinq partitioner

我想了解如何实施Partitioner<T>

我的情况:

我们从文件中读取并插入Azure表存储。我们使用任务来加速这个过程。该文件有近10,000,000行。

我尝试使用并行执行和分区来实现更优雅的解决方案。我想将这个庞大的9,000,000组分成一组分区集,并将它们分配到30-50个线程中。

我认为我需要Partitioner<List<List<TableEntity>>>的动态实现。我有几个例子,一个带有StringPartitioner的例子,但它对我的情况并没有多大帮助,因为我需要List<List<TableEntity>>的IEnumerator。

如果这一切都令人困惑,请告诉我,以便澄清。

问题是如何在List<List<TableEntity>>中实现动态分区程序。

0 个答案:

没有答案