通过Cloudera Manager 5安装后如何连接到HDFS群集

Question

我刚刚使用Cloudera Manager 5（CM5）安装了HDFS群集，其默认设置分为三个节点（n1.example.com，n2.example.com和n3.example.com）。节点的虚拟化在Parallels（Mac OSX 10.10.1 Yosemite）中完成。 我能够看到HDFS系统使用＆＃34; sudo -h hdfs＆＃34;在任何节点内。

现在，我尝试使用默认ID /密码/端口hdfs /（blank）/ 8020从主机操作系统（Mac OSX）上的ETL工具访问HDFS系统。但我得到了＃34; Connection Refused＆＃34;。我附上了ETL的截图。

所以，我已经在n2节点上安装了ETL工具（Pentaho Kettle）并尝试使用来自服务器的localhost进行连接，但仍然无法使用＆＃34; Connection Refused＆＃34;错误。当我使用诸如＆＃34; sudo -u hdfs hadoop fs＆＃34; -ls＆＃34;之类的命令时/，它工作正常。

我错过了什么吗？

仅供参考，我已经在这三个节点中禁用了防火墙，因为它们实际上是在我的虚拟机环境中作为测试运行。

谢谢！

Answer 1

原来是一个ETL配置问题。开源Pentaho数据集成工具Kettle附带Apache Hadoop 2.0作为默认插件，需要更换才能使用我的CDH发行版。

也就是说，我需要修改文件data-integration / plugins / pentaho-big-data-plugin / plugin.properties以使该行替换现有的：

active.hadoop.configuration = cdh51

以下是Pentaho网站的详细信息： http://wiki.pentaho.com/display/BAD/Configuring+Pentaho+for+your+Hadoop+Distro+and+Version