显然我需要在其中一台集群计算机上启动zookeeper服务器,然后我需要其他客户端计算机连接到此服务器。 我这样做的方式是我使用ssh连接到headnode,我发现在端口2181上运行了一个zk服务器。所以,我使用ifconfig获取机器的IP地址(例如10.0.0.8)然后我有了我的工作节点连接到: 10.0.0.8:2181。 但是,我的MR工作现在已完成,但工作缓慢且输出不正确。我怀疑我对Zookeeper做错了,特别是我没有按照教程和即兴创作的步骤。
答案 0 :(得分:0)
HDInsight有多个zookeeper服务器。不确定指定一个可能是您遇到的问题的原因。
我在前面写了一个示例,使用Storm写入HBase(同一个Azure虚拟网络上的两个服务器),作为配置的一部分,我必须为写入hbase的组件指定三个zookeeper服务器。 (https://azure.microsoft.com/en-us/documentation/articles/hdinsight-storm-sensor-data-analysis/是文章。)
从群集头节点,您可以ping zookeeper0,zookeeper1和zookeeper2以查找每个节点的IP地址。