SSIS到Azure HDInsight使用Microsoft Hive ODBC驱动程序

Question

目前正在推动针对Azure的HDInsight Hadoop服务进行严格测试的RnD项目。我们使用SQL Server Integration Services来管理ETL工作流，因此必须使HDInsight与SSIS协同工作。

我在Azure Feature Pack tasks中取得了一些成功。但是没有用于DFT的本机HDInsight / Hadoop目标任务。

<小时/>

在SSIS DFT中使用Microsoft的Hive ODBC驱动程序的问题

<小时/> 我使用简单的SQL Server“OLE DB源”创建一个DFT，使用Microsoft HIVE ODBC Driver指向具有“ODBC目标”的群集。 （忽略红色错误。已检测到群集已被破坏）。

输入所有参数后，我测试了群集ODBC连接，并测试“OK”。它甚至可以读取HIVE表并将所有列映射到。问题在运行时到达。 它通常只是锁定，计数器中没有行，或者它会在缓冲区中找到少量行并冻结。

我已经解决了：

• 已验证的连接字符串和Hadoop群集用户名/密码。
• 多次重新创建群集和任务。
• 源是SQL Server，如果我将其指向文件目标或记录集目的地，则运行正常。
• 在行外测试较小的数字以查看它是否是一个简单的性能问题（ SELECT TOP 100 FROM stupidTable ）。仅用4列进行测试。
• 在单独的工作站上测试，以确保它与机器无关。

所有这一切，我无法弄清楚还有什么可以尝试。除了我使用ODBC作为Destination而不是Source之外，我在网上的例子与one没有太大的不同。

是否有人在SSIS目标任务中使用HIVE驱动程序或其他人获得了成功？谢谢你提前。