使用blockingcollection和tasks .net 4 TPL的经典生产者消费者模式

时间:2011-06-28 19:25:58

标签: c# multithreading scheduled-tasks task-parallel-library pfx

请参阅下面的伪代码

//Single or multiple Producers produce using below method
    void Produce(object itemToQueue)
    {
        concurrentQueue.enqueue(itemToQueue);
        consumerSignal.set;
    }

    //somewhere else we have started a consumer like this
    //we have only one consumer
    void StartConsumer()
    {
        while (!concurrentQueue.IsEmpty())
        {
            if (concurrentQueue.TrydeQueue(out item))
            {
                //long running processing of item
            }
        }
        consumerSignal.WaitOne();
    }

我如何移植这个模式,我从远古时代就开始使用taskfactory创建的任务和net 4的新信号功能。换句话说,如果有人用net 4编写这个模式,它会是什么样子?伪代码很好。如你所见,我已经使用.net 4 concurrentQueue了。如何使用任务并可能使用一些新的信令机制。感谢

感谢Jon / Dan解决我的问题。甜。 没有手动信号或while(true)或while(itemstoProcess)类型循环像过去那样

//Single or multiple Producers produce using below method
 void Produce(object itemToQueue)
 {
     blockingCollection.add(item);
 }

 //somewhere else we have started a consumer like this
 //this supports multiple consumers !
 task(StartConsuming()).Start; 

 void StartConsuming()
 {
     foreach (object item in blockingCollection.GetConsumingEnumerable())
     {
                //long running processing of item
     }
 }

cancellations are handled using cancel tokens

3 个答案:

答案 0 :(得分:23)

您将使用BlockingCollection<T>。文档中有一个例子。

该课程专门设计用于使这一点变得微不足道。

答案 1 :(得分:11)

你的第二段代码看起来更好。但是,开始Task然后立即等待它是毫无意义的。只需调用Take,然后处理直接在使用线程上返回的项。这就是生产者 - 消费者模式的意图。如果您认为工作项目的处理足够密集以保证更多的消费者,那么无论如何都要吸引更多的消费者。 BlockingCollection是安全的多个生产者多个消费者。

public class YourCode
{
  private BlockingCollection<object> queue = new BlockingCollection<object>();

  public YourCode()
  {
    var thread = new Thread(StartConsuming);
    thread.IsBackground = true;
    thread.Start();
  }

  public void Produce(object item)
  {
    queue.Add(item);
  }

  private void StartConsuming()
  {
    while (true)
    {
      object item = queue.Take();
      // Add your code to process the item here.
      // Do not start another task or thread. 
    }
  }
}

答案 2 :(得分:1)

之前我使用了一种模式,创建了一种“按需”队列消费者(基于使用ConcurrentQueue消费):

        private void FireAndForget(Action fire)
        {
            _firedEvents.Enqueue(fire);
            lock (_taskLock)
            {
                if (_launcherTask == null)
                {
                    _launcherTask = new Task(LaunchEvents);
                    _launcherTask.ContinueWith(EventsComplete);
                    _launcherTask.Start();
                }
            }
        }

        private void LaunchEvents()
        {
            Action nextEvent;

            while (_firedEvents.TryDequeue(out nextEvent))
            {
                if (_synchronized)
                {
                    var syncEvent = nextEvent;
                    _mediator._syncContext.Send(state => syncEvent(), null);
                }
                else
                {
                    nextEvent();                        
                }

                lock (_taskLock)
                {
                    if (_firedEvents.Count == 0)
                    {
                        _launcherTask = null;
                        break;
                    }
                }
            }
        }

        private void EventsComplete(Task task)
        {
            if (task.IsFaulted && task.Exception != null)
            {
                 // Do something with task Exception here
            }
        }