Question

我正在开发一个在我的8核工作站上运行的小型模拟。模拟涉及对大量独立节点之间的交互进行建模。在一个阶段中，我需要并行地对每个节点执行一系列简单的原子操作。我一直在使用System.Threading.Tasks中的Parallel.ForEach将操作同时应用到所有节点列表中的每个节点。

这适用于我用于测试的100-500个节点。负载平衡得很好，所有核心都在不断使用。不幸的是，当我尝试使用主数据集（5000+节点）运行模拟时，一切都会出错。所有8个核心在大多数时间保持空闲状态，每几秒钟增加到100％，然后恢复到1％的利用率。几分钟后，抛出OutOfMemoryException，程序崩溃。

我不完全确定出了什么问题，但仍然怀疑我的当前代码产生的线程数多于对任务最佳的线程数。我认为理想的方法是让模型检测可用核心数N，将节点列表划分为N个段，然后生成N个线程，为每个线程提供一个单独的列表分区。

我想问的是，如果这确实是问题的一个很好的解决方案，那么存在更好的解决方案，以及如何在C＃中实现它？欢迎任何建议或意见。

编辑：按要求编码代码

Parallel.ForEach(listOfNodes, tempNode =>
{
   tempNode.foo();
} );

<snip>

void foo()
{
   foreach(myType bar in listOfmyType)
   {
       if (bar.isActive)
           setNodeActive();
   }
}

Answer 1

请参阅此主题，该主题讨论限制Parallel.For用于避免内存不足的线程数：

http://connect.microsoft.com/VisualStudio/feedback/details/534571/parallel-foreach-may-create-an-inordinate-number-of-threads

我会尝试将 ParallelOptions.MaxDegreeOfParallelism 设置为大约500，看看会发生什么。

Answer 2

我认为理想的方法是模型检测的数量可用内核N，对列表进行分区节点分为N段，然后产生N. 线程，给每个线程一个单独的列表的分区。

这正是Parallel.ForEach的作用，因此必定存在其他问题。

要自己想出一个更好的（线程管理）系统是非常困难的。但您可以在任务库中使用自定义调度程序。

C＃在核心之间有效地划分任务

2 个答案: