Question

我需要实现一个可以从多个线程填充的请求队列。当此队列大于1000个已完成的请求时，此请求应存储到数据库中。这是我的实施：

public class RequestQueue
{
    private static BlockingCollection<VerificationRequest> _queue = new BlockingCollection<VerificationRequest>();
    private static ConcurrentQueue<VerificationRequest> _storageQueue = new ConcurrentQueue<VerificationRequest>();

    private static volatile bool isLoading = false;
    private static object _lock = new object();

    public static void Launch()
    {
        Task.Factory.StartNew(execute);
    }

    public static void Add(VerificationRequest request)
    {
        _queue.Add(request);
    }

    public static void AddRange(List<VerificationRequest> requests)
    {
        Parallel.ForEach(requests, new ParallelOptions() {MaxDegreeOfParallelism = 3},
            (request) => { _queue.Add(request); });
    }


    private static void execute()
    {
        Parallel.ForEach(_queue.GetConsumingEnumerable(), new ParallelOptions {MaxDegreeOfParallelism = 5}, EnqueueSaveRequest );
    }

    private static void EnqueueSaveRequest(VerificationRequest request)
    {
        _storageQueue.Enqueue( new RequestExecuter().ExecuteVerificationRequest( request ) );
        if (_storageQueue.Count > 1000 && !isLoading)
        {
            lock ( _lock )
            {
                if ( _storageQueue.Count > 1000 && !isLoading )
                {
                    isLoading = true;

                    var requestChunck = new List<VerificationRequest>();
                    VerificationRequest req;
                    for (var i = 0; i < 1000; i++)
                    {
                        if( _storageQueue.TryDequeue(out req))
                            requestChunck.Add(req);
                    }
                    new VerificationRequestRepository().InsertRange(requestChunck);

                    isLoading = false;
                }
            }
        }            
    }
}

有没有办法实现这个没有锁和isLoading？

Answer 1

最简单的方法是使用TPL Dataflow库中的块。例如

var batchBlock = new BatchBlock<VerificationRequest>(1000);
var exportBlock = new ActionBlock<VerificationRequest[]>(records=>{
               new VerificationRequestRepository().InsertRange(records);
};

batchBlock.LinkTo(exportBlock , new DataflowLinkOptions { PropagateCompletion = true });

就是这样。

您可以使用

将消息发送到起始块

batchBlock.Post(new VerificationRequest(...));

完成工作后，您可以通过调用batchBlock.Complete();来删除整个管道并清除任何剩余的消息，并等待最后一个块完成：

batchBlock.Complete();
await exportBlock.Completion;

BatchBlock将最多1000条记录批量分成1000个项目的数组，并将它们传递给下一个块。 ActionBlock仅在默认情况下使用1个任务，因此它是线程安全的。您可以使用存储库的现有实例，而无需担心跨线程访问：

var repository=new VerificationRequestRepository();
var exportBlock = new ActionBlock<VerificationRequest[]>(records=>{
               repository.InsertRange(records);
};

几乎所有块都有并发输入缓冲区。每个块都在其自己的TPL任务上运行，因此每个步骤彼此同时运行。这意味着您可以“免费”获得异步执行，如果您有多个链接步骤，则可能很重要，例如，您使用TransformBlock来修改流经管道的消息。

我使用这样的管道来创建管道，这些管道调用外部服务，解析响应，生成最终记录，批处理并使用使用SqlBulkCopy的块将它们发送到数据库。

如何正确使用ConcurrentQueue中的chuncks

1 个答案: