Question

我的任务是使用（异步）接口将已知的nr值写入外部系统。我必须限制并发执行的最大并行写入次数。此外，我还必须使用负载平衡，因为外部系统可能需要更长时间才能写入某些值。

我知道如何解决这些问题：

并行度：

new ParallelOptions {MaxDegreeOfParallelism = maxNrParallelWrites}

我也偶然发现了这篇文章：http://msdn.microsoft.com/en-us/library/ee789351(v=vs.110).aspx

负载平衡：

var partitioner = Partitioner.Create(values.ToList(), true);

来自异步接口的任务：

var writeTask = Task<AccessResult>.Factory.FromAsync(BeginWriteValue, EndWriteValue, value.SystemId, value.Xml, priority, null);

但是，我如何正确地结合所有这些技术？我创建了以下代码：

  int maxNrParallelWrites = GetMaxNrParallelWrites();
  var partitioner = Partitioner.Create(values.ToList(), true);
  Parallel.ForEach(partitioner, new ParallelOptions {MaxDegreeOfParallelism = maxNrParallelWrites},
    (val) =>
    {
      var writeValueTask = GetWriteValueTask(val, priority);
      Task.WaitAny(writeValueTask);
    });

我特别不确定上一代码的最后一部分：执行工作负载的操作。是否更好，而不是创建一个WriteValueTask直接使用这样的同步接口：

(val) =>
    {
      var accessResult = externalSystem.WriteValue(....);
    }

或者可以创建一个任务然后直接等待它（Task.WaitAny（...））？

Answer 1

您应该使用TPL Dataflow的ActionBlock封装所有内容。它是基于actor的框架，是TPL的一部分：

var block = new ActionBlock<Value>(
    value => GetWriteValueTask(value, priority)
    new ExecutionDataflowBlockOptions()
    {
        MaxDegreeOfParallelism = GetMaxNrParallelWrites();
    });

foreach (var value in values)
{
    block.Post(value);
}

您可以设置MaxDegreeOfParallelism，BoundedCapacity并启用负载均衡，因为它一次只处理MaxDegreeOfParallelism项，每次完成时它处理下一项（相反）使用预先对集合进行分区的Partitioner

注意：当您执行async任务并等待它同步完成时（即Task.WaitAny），实际上没有任何异步。在这种情况下，您应该使用Task.WhenAny。

Answer 2

有一个很好的示例，说明如何在this article.中创建负载平衡ForEachASync方法。我已经取出Task.Run以避免启动新线程，然后扩展方法变为：

public static class Extensions
{
    public static async Task ExecuteInPartition<T>(IEnumerator<T> partition, Func<T, Task> body)
    {
        using (partition)
            while (partition.MoveNext())
                await body(partition.Current);
    }

    public static Task ForEachAsync<T>(this IEnumerable<T> source, int dop, Func<T, Task> body)
    {
        return Task.WhenAll(
            from partition in Partitioner.Create(source).GetPartitions(dop)
            select ExecuteInPartition(partition, body));
    }
}

<强>用法

此示例一次最多异步处理100封电子邮件

 // Process 100 emails at a time
 return emailsToProcess.ForEachAsync(100, ProcessSingleEmail);

如何使用负载均衡和有限并行度的任务并行库（TPL）？

2 个答案: