延迟N天事件的解决方案

时间:2016-11-21 15:20:57

标签: azure azureservicebus azure-eventhub azure-storage-queues

我们目前正在Microsoft Azure中编写应用程序,我们计划使用事件中心来处理实时事件。

然而,在初步处理之后,我们将不得不延迟进一步处理事件N天。这个过程将如下工作:

事件已触发 - >在Event Hub中放置活动 - >事件从事件中心获取并处理 - >事件应延迟X天 - >事件被'进一步处理(最后两个步骤可能是一个循环)

如何在不使用轮询或类似策略的情况下实现进一步事件处理的延迟。一个想法是使用Azure队列及其可见性超时,但根据文档,7天是支持的最大值,我们的业务需求在1-3个月的最大范围内。我们系统中的事件数量应该是每天最多10k。

任何想法都会受到赞赏,谢谢!

1 个答案:

答案 0 :(得分:0)

正如您已经提到的 - EventHubs仅支持保留7天的数据窗口。

事件中心通常用作实时遥测数据管道,其中数据搜索性能至关重要。对于99.9%的用户/场景,我们的用户通常需要最后几个小时,如果不是几秒钟。

然而,在实时处理结束后,如果您仍需要在一段时间后重新分析数据,例如:在上个月数据上运行Hadoop作业 - 我们的搜索模式&商店没有针对它进行优化。我们建议将消息​​转发给专门用于大数据查询的其他数据存档商店。

As - 数据存档是我们大多数客户自然要求的问题 - 我们是releasing a new feature which automatically archives the data in AVRO format into Azure storage