我最近被要求建立一种机制,以近乎实时的方式从我们的RDS MySQL获取数据,即在5秒内。到5分钟。在阅读了Lambda,Flydata和数据管道后,我选择了AWS 数据管道,因为在涉及近实时数据摄取时,许多论坛都提到了它的名称。
AWS Data Pipeline让我们安排作业,因此我选择了计划选项并将其设置为每2分钟运行一次。
这是丑陋的部分。 它要求我设置一个间隔时间段!! ,这应该大于15分钟。我的意思是为什么会这样?它不应该接近实时吗?
现在,当我运行我的管道时它就像这样工作。 (设定间隔15分钟后)
这应该是什么时候接近实时?我的意思是AWS认识到接近实时意味着在几秒钟内,或者至少一些分钟,但15-17分钟对我来说是一个巨大的障碍。有人能告诉我如何解决这个问题。我考虑过调度多个管道并设置前置条件,但我不确定它是否会起作用。 请帮忙......