我必须使用Azure的哪些服务来进行Azure提供的实时流传输?

时间:2019-07-11 10:07:48

标签: apache-kafka hdinsight azure-eventhub azure-stream-analytics azure-databricks

我正在尝试使用Azure进行实时分析,当我浏览了服务后,我看到Azure提供的三项服务是HDInsight(Kafka),Azure流分析和Azure Events中心。什么是服务?我必须使用。 我正在尝试从SQL Server或Twitter或其他方式实时流式传输数据,并存储在Azure数据仓库或Data Lake中。

1 个答案:

答案 0 :(得分:0)

要回答高级问题,可以使用事件中心(包括事件中心Kafka)和HDInsight进行数据提取。第一个提供无服务器服务,而第二个提供托管的Kafka集群。

Azure流分析专注于数据处理,转换和分析。您可以使用SQL查询来执行此操作,并从事件中心(或IoT中心)获取数据,并将其移至SQL,SQL Data Warehouse,Data Lake等各种接收器。

要回答您的特定问题,您可以查看this tutorial,该示例显示了如何使用事件中心和流分析来处理Twitter数据。

您还提到过要从SQL Server中获取数据吗?它是流数据吗? Azure流分析支持来自SQL的数据作为参考数据(用于充实数据流的慢速移动数据)。您是否正在寻找执行ETL并将数据从SQL Server定期移至其他地方的方法?为此,Azure数据工厂或SQL Server集成服务可能是一个不错的选择。

如果这能回答您的问题,请告诉我,我们很乐意为您提供更多信息。

让-塞巴斯蒂安 (Azure流分析)