我们可以将SSIS与Microsoft大数据平台一起使用吗?SSIS对大数据仍然有用的领域
答案 0 :(得分:2)
除了@GregGalloway提到的要点之外,你应该看一下目前仍在预览中的SSIS Azure Feature Pack。它包含一些使用HDInsight的任务,例如Hive和Pig。如果您需要更深入的集成,尤其是与Azure中的其他服务(如DocumentDB),Data Factory应该位于列表的顶部。
答案 1 :(得分:1)
绝对。如果您现在没有SSIS,那么您可能首先查看Azure Data Factory。但是,如果您目前使用SSIS,则可以将其与HDInsight一起使用。
如果安装Hive ODBC驱动程序(或Spark ODBC或两者),则可以使用连接字符串连接SSIS,并使用ODBC源或执行SQL任务。
uid = MyUser; pwd = MyPassword; Driver = {Microsoft Hive ODBC Driver}; host = mycluster.azurehdinsight.net; port = 443; schema = default; rowsfetchedperblock = 10000; hiveservertype = 2; authmech = 6; defaultstringcolumnlength = 4000;
请参阅稍微不同的ODBC遍历: http://azure.microsoft.com/en-us/documentation/articles/hdinsight-connect-excel-hive-odbc-driver/
但是,我更喜欢将我的Hive代码放在blob存储中的.hql文件中,然后让SSIS使用Azure PowerShell启动它们。这有点相当于部署“存储过程”。
答案 2 :(得分:0)
在Open Database Connectivity的帮助下,您绝对可以使用Microsoft SSIS与Big数据进行交互。 看一下本教程,其中使用SSIS将数据推送到Cloudera的HIVE表中。