标签: batch-processing lambda-architecture
我正在开发一个用于摄取实时物联网数据的系统,并且需要每天更新数据视图。
我正在使用Lambda体系结构: 批处理层记录所有“原始”数据,并将每天处理批处理数据,也是服务层,用于处理来自用户的查询。
问题:批处理过程完成后,正在更新“批处理”视图(在服务层中)时,如果出现查询会怎样?
理想情况下,我希望查询能够正常运行(对旧数据运行),并且一旦完成批处理视图更新,查询就应该对新数据运行。
我需要两组批处理视图,并且查询可以在一个视图上运行,而另一视图正在更新吗?
谢谢您的反馈〜