SSIS与Microsoft大数据平台

时间:2015-10-28 17:08:34

标签: ssis bigdata hdinsight

我们可以将SSIS与Microsoft大数据平台一起使用吗?SSIS对大数据仍然有用的领域

3 个答案:

答案 0 :(得分:2)

除了@GregGalloway提到的要点之外,你应该看一下目前仍在预览中的SSIS Azure Feature Pack。它包含一些使用HDInsight的任务,例如Hive和Pig。如果您需要更深入的集成,尤其是与Azure中的其他服务(如DocumentDB),Data Factory应该位于列表的顶部。

答案 1 :(得分:1)

绝对。如果您现在没有SSIS,那么您可能首先查看Azure Data Factory。但是,如果您目前使用SSIS,则可以将其与HDInsight一起使用。

如果安装Hive ODBC驱动程序(或Spark ODBC或两者),则可以使用连接字符串连接SSIS,并使用ODBC源或执行SQL任务。

uid = MyUser; pwd = MyPassword; Driver = {Microsoft Hive ODBC Driver}; host = mycluster.azurehdinsight.net; port = 443; schema = default; rowsfetchedperblock = 10000; hiveservertype = 2; authmech = 6; defaultstringcolumnlength = 4000;

请参阅稍微不同的ODBC遍历: http://azure.microsoft.com/en-us/documentation/articles/hdinsight-connect-excel-hive-odbc-driver/

但是,我更喜欢将我的Hive代码放在blob存储中的.hql文件中,然后让SSIS使用Azure PowerShell启动它们。这有点相当于部署“存储过程”。

答案 2 :(得分:0)

在Open Database Connectivity的帮助下,您绝对可以使用Microsoft SSIS与Big数据进行交互。 看一下本教程,其中使用SSIS将数据推送到Cloudera的HIVE表中。

https://www.youtube.com/watch?v=gPLfcL2zDX8