Question

我很感激PLYNQ专家的帮助！我会花时间回顾一下答案，我对math.SE。

有一个更为确定的概况

我有一个ParallelQuery<List<string>>类型的对象，它有44个列表，我想并行处理（一次五个，比如说）。我的流程有一个像

这样的签名

private ProcessResult Process(List<string> input)

处理将返回一个结果，它是一对布尔值，如下所示。

    private struct ProcessResult
    {
        public ProcessResult(bool initialised, bool successful)
        {
            ProcessInitialised = initialised;
            ProcessSuccessful = successful;
        }

        public bool ProcessInitialised { get; }
        public bool ProcessSuccessful { get; }
    }

问题。鉴于IEnumerable<List<string>> processMe，我的PLYNQ查询会尝试实施此方法：https://msdn.microsoft.com/en-us/library/dd384151(v=vs.110).aspx。它写成

processMe.AsParallel()
         .Aggregate<List<string>, ConcurrentStack<ProcessResult>, ProcessResult>
             (
                 new ConcurrentStack<ProcessResult>,   //aggregator seed
                 (agg, input) =>
                 {                         //updating the aggregate result
                     var res = Process(input);
                     agg.Push(res);
                     return agg;
                 },
                 agg => 
                 {                         //obtain the result from the aggregator agg
                     ProcessResult res;    // (in this case just the most recent result**)
                     agg.TryPop(out res);
                     return res;
                 }
             );

不幸的是，它不是并行运行的，只是顺序运行。（**请注意，此实现并没有使＆＃34; sense＆＃34;，我只是想让并行化现在正常工作。）

我尝试了一种略有不同的实现，做了并行运行，但没有聚合。我定义了一个聚合方法（在ProcessResult的两个部分基本上是一个布尔AND，即聚合（[A1，A2]，[B1，B2]）≡[A1＆amp;＆amp; B1，A2＆amp;＆amp; ; B2]）。

private static ProcessResult AggregateProcessResults
        (ProcessResult aggregate, ProcessResult latest)
    {
        bool ini = false, suc = false;
        if (aggregate.ProcessInitialised && latest.ProcessInitialised)
            ini = true;
        if (aggregate.ProcessSuccessful && latest.ProcessSuccessful)
            suc = true;


        return new ProcessResult(ini, suc);
    }

并使用了PLYNQ查询https://msdn.microsoft.com/en-us/library/dd383667(v=vs.110).aspx

.Aggregate<List<string>, ProcessResult, ProcessResult>(
    new ProcessResult(true, true),
    (res, input)  => Process(input),
    (agg, latest) => AggregateProcessResults(agg, latest),
    agg           => agg

这里的问题是AggregateProcessResults代码从未被打过，出于某种原因 - 我对结果的进展毫无头绪......

感谢阅读，感谢任何帮助：）

Answer 1

您使用的Aggregate超载确实不会按设计并行运行。您传递种子，然后传递步骤函数，但步骤函数（agg）的参数是从之前的步骤接收的累加器。因此，它本身是顺序的（上一步的结果输入到下一步）并且不可并行化。不知道为什么这个重载包含在ParallelEnumerable中，但可能是有原因的。

相反，使用另一个重载：

var result = processMe
.AsParallel()
.Aggregate
(
    // seed factory. Each partition will call this to get its own seed
    () => new ConcurrentStack<ProcessResult>(),
    // process element and update accumulator
    (agg, input) =>
    {                                           
        var res = Process(input);
        agg.Push(res);
        return agg;
    },
    // combine accumulators from different partitions
    (agg1, agg2) => {
        agg1.PushRange(agg2.ToArray());
        return agg1;
    },
    // reduce
    agg =>
    {
        ProcessResult res;
        agg.TryPop(out res);
        return res;
    }
);

ParallelQuery.Aggregate不能并行运行的可能原因

1 个答案: