Question

我正试图绕过BlockingCollection和我的生产者/消费者问题。

我想要实现的目标如下：

一种线程安全的队列，用于以FIFO方式保存对象列表（“作业”）。
第二个线程安全队列，它以FIFO方式保存这些作业的结果列表。

换句话说：

Inbound "Job" Data, can come at any time from multiple threads 
   ==> Thread-Safe FIFO Queue 1 "FQ1"
      ==> Async Processing of data in FQ1 (and remove item from FQ1)
         ==> Callback/Results into Thread-Safe FIFO Queue 2 "FQ2"
            ==> Async Processing of data in FQ2 (and remove item from FQ2)
               ==> Done

到目前为止，我的谦卑尝试是：

private BlockingCollection<InboundObject> fq1;
private BlockingCollection<ResultObject> fq2;

(...)

Task.Factory.StartNew(() =>
{
    foreach (InboundObject a in fq1.GetConsumingEnumerable())
       a.DoWork(result => fq2.Add(result)); //a.DoWork spits out an Action<ResultObject>
}

我选择BlockingCollection的原因之一是因为我希望将负载保持在最低限度，这意味着只有在项目实际位于集合内部时才能正常工作（而不是处理等待/休眠）。我不确定foreach是否是正确的方法。

如果这是正确的或有更好的方法，请告诉我。谢谢！

修改我可以从单元测试中看出，任务中的工作实际上是同步的。新版本如下：

Task.Factory.StartNew(() =>
{
    foreach (InboundObject a in fq1.GetConsumingEnumerable())
       Task.Factory.StartNew(async () => { fq2.Add(await a.DoWork()); });
}

非常感谢输入！

Answer 1

我选择BlockingCollection的原因之一是因为我希望将负载保持在最低限度，这意味着只有在项目实际位于集合内部时才能正常工作（而不是处理等待/休眠）。我不确定foreach是否是正确的方法。

这是正确的方法，foreach将被阻止，直到新项目被添加到队列或将调用CompleteAdding方法。不正确的是你想用BlockingCollection实现异步处理。 BlockingCollection是一个简单的生产者/消费者队列，必须在需要维护处理作业和作业结果的顺序时使用。因为它是同步的。作业将按照添加的顺序进行处理。

如果您只需要异步执行，则不需要队列。在这种情况下，您可以使用TPL，只为每个作业生成一个新任务，它们将在内部由TPL排队，并将使用系统可以有效处理的OS线程。例如，您的工作可以产生自己的任务。这是一种更灵活的方法。

此外，生产者/消费者队列可用于组织作业的管道执行。在这种情况下，作业必须分成几个步骤。每个步骤必须由专用线程执行。在每个作业步骤线程中，我们必须从一个队列中读取作业，执行此作业，然后将其排队到下一个队列。

interface IJob
{
    void Step1();
    void Step2();
    ...
}

var step1 = new BlockingCollection<IJob>();
var step2 = new BlockingCollection<IJob>();
...

Task.Factory.StartNew(() =>
    {
        foreach(var step in step1.GetConsumingEnumerable()) {
            step.Step1();
            step2.Add(step);
        }
    });

Task.Factory.StartNew(() =>
    {
        foreach(var step in step2.GetConsumingEnumerable()) {
            // while performing Step2, another thread can execute Step1
            // of the next job
            step.Step2();
            step3.Add(step);
        }
    });

在这种情况下，作业将按FIFO顺序执行，但并行执行。但是如果要进行管道处理，首先必须考虑负载平衡。如果其中一个步骤花费太多时间，那么它的队列将变大，其他线程将在大多数时间处于空闲状态。

Producer / Consumer，BlockingCollection，等待更改

1 个答案: