有几种计算环境可以为我做转换。我有一个REST源,我每天都会收到回复,我必须进行一些转换。
https://docs.microsoft.com/en-us/azure/data-factory/compute-linked-services
我很担心最好的方法是什么?或者换句话说,在我应该使用Azure批处理,存储过程,HDInsight等时,所有计算环境之间的差异是什么?
答案 0 :(得分:1)
这实际上取决于您拥有数据的位置。如果要将数据存储在数据湖中,则不会使用存储过程。如果要将数据存储在Azure Sql中,则不会使用Data Lake Analytics。
基本上是这样的:
Data lake -> data lake analytics with u-sql
Azure SQL (warehouse or just sql) -> stored procedure
HDInsight hadoop -> Pig, hive, etc
None of the above -> custom activity with Azure Batch
希望这有帮助!