如何使用Azure数据工厂将数据从带有WASB的HDInsight群集移动到Azure SQL数据库

时间:2017-05-10 13:36:45

标签: azure-storage-blobs hdinsight azure-sql-database azure-data-factory

我是Azure数据工厂的新手,目前我正致力于使用Azure数据工厂将数据从带有WASB(windows azure存储blob)的HDInsight群集移动到Azure SQL数据库。

在使用Azure数据工厂之前,我使用SQOOP将数据从带有WASB的HDInsight Cluster移动到Azure SQL数据库,但我的要求是使用azure数据工厂而不是SQOOP。

Getting started with Sqoop in HDInsight

为此,我从Azure Data工厂打开了复制向导,并将源选择为“HDFS”,如下图所示。

enter image description here

但我不清楚在HDFS源连接窗口下输入了哪些凭据,即使我阅读下面有关 HDFS的链接服务属性

的文档

Move data from on-premises HDFS using Azure Data Factory

您能否解释一下在HDFS连接下输入的凭据,还告诉我如何将数据从HDFS移动到Azure SQL数据库?

1 个答案:

答案 0 :(得分:-1)

如果Azure门户上有Azure Data Factory实例,请单击下面的图1中的Copy data(preview)按钮打开一个新窗口(图2),以获取管道设置向导。

图1.复制数据(预览)

enter image description here

图2.管道向导

enter image description here 然后,您只需按照向导设置HDFS的源信息,并为SQL Azure做好运行管道的目标。

配置HDFS源的两个数据集的更多细节& SQL Azure targat,您可以参考HDFS&的两个官方教程。 SQL Azure

与此同时,将数据从HDInsight移动到SQL Azure的另一种方法是使用[Sqoop][5],您可以参考官方博客Getting started with Sqoop in HDInsight来了解其用途。