使用Parallel.ForEach()时防止远程系统过载

时间:2014-03-26 09:31:43

标签: c# .net multithreading parallel-processing task-parallel-library

我们已经构建了这个需要在远程机器(实际上是MatLab服务器)上完成一些计算的应用程序。我们使用Web服务连接到MatLab服务器并执行计算。

为了加快速度,我们使用Parallel.ForEach()来同时进行多项服务调用。如果我们将ParallelOptions.MaxDegreeOfParallelism(DOP)设置为4或者其他东西非常保守,那么一切都很好。 但是,如果我们让框架决定DOP,它将产生如此多的线程,迫使远程机器跪下并开始超时(> 10分钟)。

我们如何解决这个问题?我能够做的就是使用响应时间来限制呼叫。如果响应时间小于30秒,请继续添加线程,一旦超过30秒,请使用更少的线程。有什么建议吗?

N.B。与此问题中的回复相关:https://stackoverflow.com/a/20192692/896697

1 个答案:

答案 0 :(得分:1)

最简单的方法是调整最佳数量的并发请求和硬编码,就像你到目前为止所做的那样,但是如果你愿意付出一些努力,还有一些更好的选择。

您可以从Parallel.ForEach移动到using a thread pool。这样,当事物从远程服务器返回时,您可以手动或以编程方式调整可用线程的数量。减少/增加可用线程的数量,因为速度减慢/加速,甚至在需要时杀死它们。

您还可以执行以上using Tasks的变体,这是在.net中执行并行/异步内容的新方法。

另一种选择是使用定时器和/或作业模型每隔x毫秒调度作业,然后可以根据服务器返回的结果对其进行限制/放宽。最简单的入门方式是using Quartz.Net