多个消费者并查询C#BlockingCollection

时间:2011-09-23 11:19:35

标签: c# .net c#-4.0

我正在使用.NET 4.0 BlockingCollection来处理一个项目队列,每个项目需要由一个操作处理,这个操作最多可能需要一秒钟来处理每个项目。这个项目队列可以由不同的线程添加。

我对此有几个问题 a)允许多个消费者使用这个BlockingCollection?我注意到了GetConsumingEnumerable(),它似乎适用于单个消费者场景。拥有多个消费者的原因是,通过命名管道实例的处理一次最多可以处理三个这样的项目,所以我认为我可以有三个消费者。

b)是否有办法检查某个项目是否在此队列中,如果是,请让调用者检查是否有项目要阻止,直到该项目被处理完毕?

修改

基于Jon Skeet的答案,这里有一些示例代码,用于说明多个消费者在由单个生产者填充的BlockingCollection上行动,消费者使用GetConsumingEnumerable()

static BlockingCollection<string> coll = new BlockingCollection<string>();

static void Consume()
{
    foreach (var i in coll.GetConsumingEnumerable())
    {
        Console.WriteLine(String.Format("Thread {0} Consuming: {1}",  Thread.CurrentThread.ManagedThreadId, i));
        Thread.Sleep(1000);
    }
}

static void Main(string[] args)
{
    int item = 0;

    Task.Factory.StartNew(() =>
    {
        while (true)
        {
            coll.Add(string.Format("Item {0}", item++));
            Thread.Sleep(500);
        }
    });

    for (int i = 0; i < 2; i++)
    {
        Task.Factory.StartNew(() => Consume());
    }

    while (true) ;
}

在两个不同线程上操作的两个消费者之间以交错的方式处理这些项目,例如

Thread 4 Consuming: Item 0
Thread 5 Consuming: Item 1
Thread 4 Consuming: Item 2
Thread 5 Consuming: Item 3
Thread 4 Consuming: Item 4

2 个答案:

答案 0 :(得分:11)

多个消费者可以同时拨打TakeTryTake - 每个项目只会由一个消费者使用。

但是,我相信GetConsumingEnumerable 也会做你想做的事。我相信如果每个调用者都调用它,每个调用者将获得一个单独的消耗可枚举,这将再次确保每个项目只被消耗一次。我不确定当队列变空时会发生什么 - 我不知道MoveNext()是否会阻塞,或者返回false。

虽然我没有真正关注你的第二个问题......

答案 1 :(得分:2)

GetConsumingEnumerable 实际上从多个消费者同时调用是安全的;可枚举仅在集合标记为完成时完成。每件物品只消费一次。

GetConsumingEnumerableessentially equivalent to

while (!IsCompleted)
{
  if (TryTake(out var item, Timeout.Infinite))
    yield return item;
}

加上一些取消/清理逻辑。