PLINQ解决方案：

Question

这可能是一个棘手的问题，但我所拥有的是一个包含1000行的DataTable。我希望在新线程上处理这些行的Foreach。但是我想将线程限制为4个线程。所以基本上我一直在保持4个线程运行，直到整个数据表被处理完毕。

目前我有这个;

  foreach (DataRow dtRow in urlTable.Rows)
        {
            for (int i = 0; i < 4; i++)
            {
                Thread thread = new Thread(() => MasterCrawlerClass.MasterCrawlBegin(dtRow));
                thread.Start();
            }
        }

我知道这是倒退但我不确定如何实现我正在寻找的东西。我想到了一个非常复杂的while循环，但也许这不是最好的方法？任何帮助总是受到赞赏。

Answer 1

最简单的解决方案是你有4个CPU内核 - 并行LINQ +并行度== 4会为每个CPU内核提供一个线程，否则你在线程/任务之间手动分配记录，请参阅下面的两个解决方案： / p>

PLINQ解决方案：

urlTable.Rows.AsParallel().WithDegreeOfParallelism(4)
             .Select(....)

手动分发：

您可以使用简单的技巧手动分配工作线程的项目： N线程将从输入列表中获取每个N+4项，例如：

第一个帖子：每个0+4 == 0,3,7 ......
第二：每个1+4 == 1,4,8 ......
第三：每个2+4 == ...

任务并行库解决方案：

private void ProcessItems(IEnumerable<string> items)
{
     // TODO: ..
}

var items = new List<string>(Enumerable.Range(0, 1000)
                                       .Select(i => i + "_ITEM"));
var items1 = items.Where((item, index) => (index + 0) % 4 == 0);
var items2 = items.Where((item, index) => (index + 1) % 4 == 0);
var items3 = items.Where((item, index) => (index + 2) % 4 == 0);
var items4 = items.Where((item, index) => (index + 3) % 4 == 0);

var tasks = new Task[]
    {
       factory.StartNew(() => ProcessItems((items1))),
       factory.StartNew(() => ProcessItems((items2))),
       factory.StartNew(() => ProcessItems((items3))),
       factory.StartNew(() => ProcessItems((items4)))
    };

Task.WaitAll(tasks);

MSDN：

C＃MultiThreading循环整个DataTable，同时将线程限制为4

1 个答案:

PLINQ解决方案：

任务并行库解决方案：