对Azure表中存储的数据执行高级查询(DW?MR?)

时间:2016-03-07 08:52:33

标签: azure data-warehouse azure-table-storage

我们是一家adtech公司,我们在Azure Tables中存储了大量数据。每个用户的页面查看,页面操作,会话等内容。我们选择基于SQL Server的Azure表的原因是数据量非常庞大(每秒数万个)。

我们希望更进一步,并对该数据执行高级查询。这在Azure生态系统中是否可行?也许通过在数据仓库产品中加载数据或通过一些Map Reduce查询来加载数据?

此外,如果可以实现上述目标,我们还考虑在数据仓库中以微批次方式提取数据,以确保我们拥有相对新鲜的副本,而不必加载大批量产品。这是Azure支持的吗?

由于

1 个答案:

答案 0 :(得分:0)

使用Azure表,您可以使用以下查询运算符查询数据:https://msdn.microsoft.com/en-us/library/dd135725.aspx 您可以使用Azure Table功能构建自定义应用程序以进行更深入的分析。

或者,如果您有兴趣使用现有软件框架对Azure进行大数据分析,请考虑使用HDInsight或Data Lake Analytics。它提供更复杂的。 HDInsight:https://azure.microsoft.com/en-us/documentation/services/hdinsight/ Data Lake Analytics:https://azure.microsoft.com/en-us/documentation/services/data-lake-analytics/ 每个分析引擎都有数据摄取的手段。