与天蓝色

时间:2017-03-26 10:36:43

标签: data-analysis azure-data-lake

目前,我正在从设备存储分钟地理位置数据,我想计算每个设备之间的差异,并将其存储为分钟距离。之后,每当新数据进入带有分钟地理位置数据的主csv文件时,将其聚合为例如小时,3小时和其他一些聚合。

我目前打算做的是调用特定的间隔时间(例如2/3分钟或由事件触发)u-sql脚本读取我的主要地理位置数据,计算每个设备分钟的差异和按分钟,小时等在特定文件上汇总。

但是,也许是否有任何有效的方法来做我真正需要的天蓝色工具?

1 个答案:

答案 0 :(得分:2)

Azure数据湖分析(ADLA)和U-SQL目前只是批量生产,即用于处理大量数据的较大作业,以分钟和小时为单位,而不是秒。您可能希望查看Stream Analytics,它可能更适合您的设计。您可能还希望查看涵盖实时和批处理的lambda体系结构模式,在这种情况下,Azure Data Lake Storage(ADLS)可能是大数据存储。