Azure数据工厂:不同的计算环境

时间:2018-04-20 05:55:11

标签: azure-data-factory azure-data-factory-2

有几种计算环境可以为我做转换。我有一个REST源,我每天都会收到回复,我必须进行一些转换。

https://docs.microsoft.com/en-us/azure/data-factory/compute-linked-services

我很担心最好的方法是什么?或者换句话说,在我应该使用Azure批处理,存储过程,HDInsight等时,所有计算环境之间的差异是什么?

1 个答案:

答案 0 :(得分:1)

这实际上取决于您拥有数据的位置。如果要将数据存储在数据湖中,则不会使用存储过程。如果要将数据存储在Azure Sql中,则不会使用Data Lake Analytics。

基本上是这样的:

Data lake -> data lake analytics with u-sql
Azure SQL (warehouse or just sql) -> stored procedure
HDInsight hadoop -> Pig, hive, etc
None of the above -> custom activity with Azure Batch

希望这有帮助!