HDInsight和Talend Open Studio for Big Data

时间:2017-03-15 18:40:42

标签: azure hadoop hive talend hdinsight

我目前正在开发一个项目,我需要将Talend open Studio for Big Data(v 6.3.1)连接到Azure的HDInsight(3.5)Hadoop集群。到目前为止,我正在尝试一个简单的例子,其中包括创建一个Hive表。

为此,我使用下图:

enter image description here

配置hive连接如下:

enter image description here

...请在下面找到tHiveCreateTable_1节点的规范:

enter image description here

通过运行此过程: ·创建了指定的容器和部署Blob(参见下图) - 这使我相信Windows存储配置一切正常

enter image description here

·但是tHiveCreateTable_1节点有错误(见下图)

enter image description here

·我坚信这与主机名和端口有关; ·我尝试使用群集的主机名和我们可以在Ambari中找到的Hive服务器的主机名(参见下图)

enter image description here

·但他们都没有按预期工作。

有人试过类似的东西吗?

注意:说Talend支持的Azure版本为3.4是非常重要的,但是,我使用的是3.5,可能就是它。

非常感谢您的帮助。

1 个答案:

答案 0 :(得分:0)

根据官方docuemnt关于Hadoop组件与HDInsight可用版本之间的差异,HDInsight 3.5基于Hortonworks数据平台(HDP)2.5,但HDI 3.4基于HDP 2.4。但是,他们的Hive组件或其他组件没有很大的版本差异。因此,我的建议是,您可以尝试使用与当前HDI 3.5相同的Azure存储帐户创建HDI 3.4,而无需为您的需求提供更多效果。