Question

嗨，我正在使用事件中心以1秒的频率提取数据。

我不断将模拟数据从控制台应用程序推送到事件中心，然后存储到SQL数据库中。

现在已经超过5天了，我每天都发现接收器处理数据两次，这就是为什么我将重复记录存入数据库的原因。

由于它一天只发生一次或两次，所以我什至无法追踪。

到目前为止，任何人都可以面对这样的情况吗？还是主机可以两次处理相同的消息？还是接收者的异步行为问题？

期待获得帮助。...

代码段：

 public class SimpleEventProcessor : IEventProcessor
{  
    Stopwatch checkpointStopWatch;

    async Task IEventProcessor.CloseAsync(PartitionContext context, CloseReason reason)
    {
        Console.WriteLine("Processor Shutting Down. Partition '{0}', Reason: '{1}'.", context.Lease.PartitionId, reason);
        if (reason == CloseReason.Shutdown)
        {
            await context.CheckpointAsync();
        }
    }

    Task IEventProcessor.OpenAsync(PartitionContext context)
    {
        Console.WriteLine("SimpleEventProcessor initialized.  Partition: '{0}', Offset: '{1}'", context.Lease.PartitionId, context.Lease.Offset);
        this.checkpointStopWatch = new Stopwatch();
        this.checkpointStopWatch.Start();
        return Task.FromResult<object>(null);
    }

    async Task IEventProcessor.ProcessEventsAsync(PartitionContext context, IEnumerable<EventData> messages)
    {

        foreach (EventData eventData in messages)
        {
            string data = Encoding.UTF8.GetString(eventData.GetBytes());

          // store data into SQL database / database call.

        }           


        // Call checkpoint every 5 minutes, so that worker can resume processing from 5 minutes back if it restarts.
        if (this.checkpointStopWatch.Elapsed > TimeSpan.FromMinutes(0))
        {
            await context.CheckpointAsync();
            this.checkpointStopWatch.Restart();
        }

        if (messages.Count() > 0)
            await context.CheckpointAsync();
    } 
}

Answer 1

事件中心guarantees at least once delivery：

它具有以下特征：


低延迟

每秒能够接收和处理数百万个事件

至少一次交货

所以您可以预期会发生这种情况。

还要考虑到刚刚发生检查点的情况，然后再处理一些消息（分别称为A和B），然后该过程失败。在失败消息消耗之后，下次再次启动读取过程时，将在最后一条检查点消息开始，因此换句话说，将再次处理消息A和B。

IEventProcessor处理消息两次

1 个答案: