TPL队列处理

时间:2013-02-18 04:42:06

标签: c# queue task-parallel-library

我目前正在开发一个项目,我需要排队一些工作进行处理,这是要求:

  1. 必须一次处理一个作业
  2. 必须能够等待排队的项目
  3. 所以我想要类似的东西:

    Task<result> QueueJob(params here)
    {
       /// Queue the job and somehow return a waitable task that will wait until the queued job has been executed and return the result.
    }
    

    我尝试过一个后台运行任务,它只是将项目从队列中拉出并处理作业,但难度从后台任务变为方法。

    如果需要,我可以在QueueJob方法中使用刚刚请求完成回调的路径,但是如果我能得到一个透明的任务回来,它可以让你等待处理作业(即使在队列中有一些工作。)

3 个答案:

答案 0 :(得分:5)

您可能会发现TaskCompletionSource<T>很有用,它可以用来创建一个Task,它可以完全按照您的需要完成。如果将其与BlockingCollection<T>结合使用,您将获得队列:

class JobProcessor<TInput, TOutput> : IDisposable
{
    private readonly Func<TInput, TOutput> m_transform;

    // or a custom type instead of Tuple
    private readonly
        BlockingCollection<Tuple<TInput, TaskCompletionSource<TOutput>>>
        m_queue =
        new BlockingCollection<Tuple<TInput, TaskCompletionSource<TOutput>>>();

    public JobProcessor(Func<TInput, TOutput> transform)
    {
        m_transform = transform;
        Task.Factory.StartNew(ProcessQueue, TaskCreationOptions.LongRunning);
    }

    private void ProcessQueue()
    {
        Tuple<TInput, TaskCompletionSource<TOutput>> tuple;
        while (m_queue.TryTake(out tuple, Timeout.Infinite))
        {
            var input = tuple.Item1;
            var tcs = tuple.Item2;

            try
            {
                tcs.SetResult(m_transform(input));
            }
            catch (Exception ex)
            {
                tcs.SetException(ex);
            }
        }
    }

    public Task<TOutput> QueueJob(TInput input)
    {
        var tcs = new TaskCompletionSource<TOutput>();
        m_queue.Add(Tuple.Create(input, tcs));
        return tcs.Task;
    }

    public void Dispose()
    {
        m_queue.CompleteAdding();
    }
}

答案 1 :(得分:2)

我会选择这样的事情:

class TaskProcessor<TResult>
{
    // TODO: Error handling!

    readonly BlockingCollection<Task<TResult>> blockingCollection = new BlockingCollection<Task<TResult>>(new ConcurrentQueue<Task<TResult>>());

    public Task<TResult> AddTask(Func<TResult> work)
    {
        var task = new Task<TResult>(work);
        blockingCollection.Add(task);
        return task; // give the task back to the caller so they can wait on it
    }

    public void CompleteAddingTasks()
    {
        blockingCollection.CompleteAdding();
    }

    public TaskProcessor()
    {
        ProcessQueue();
    }

    void ProcessQueue()
    {
        Task<TResult> task;
        while (blockingCollection.TryTake(out task))
        {
            task.Start();
            task.Wait(); // ensure this task finishes before we start a new one...
        }
    }
}

根据使用它的应用程序的类型,您可以更简单地切换BlockingCollection / ConcurrentQueue(例如,只是一个普通队列)。您还可以调整“AddTask”方法的签名,具体取决于您将排队的方法/参数类型...

答案 2 :(得分:0)

Func<T>不接受任何参数并返回类型为T的值。作业逐个运行,您可以等待返回的任务获得结果。

public class TaskQueue
{
    private Queue<Task> InnerTaskQueue;

    private bool IsJobRunning;

    public void Start()
    {
        Task.Factory.StartNew(() =>
        {
            while (true)
            {
                if (InnerTaskQueue.Count > 0 && !IsJobRunning)
                {
                     var task = InnerTaskQueue.Dequeue()
                     task.Start();
                     IsJobRunning = true;
                     task.ContinueWith(t => IsJobRunning = false);
                }
                else
                {
                     Thread.Sleep(1000);
                }
            }
        }
    }

    public Task<T> QueueJob(Func<T> job)
    {
        var task = new Task<T>(() => job());
        InnerTaskQueue.Enqueue(task);
        return task;
    }
}