Hadoop Docker设置 - WordCount教程

时间:2017-09-04 02:05:55

标签: java hadoop docker

我正在按照教程运行here中提及的WordCount.java以及我在教程中运行以下行

hadoop jar wordcount.jar org.myorg.WordCount /user/cloudera/wordcount/input /user/cloudera/wordcount/output

我收到以下错误 -

17/09/04 01:57:29 INFO client.RMProxy: Connecting to ResourceManager at /0.0.0.0:8032
17/09/04 01:57:30 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)

我使用的泊坞窗图片是docker pull cloudera/quickstart

没有针对Hadoop和Docker的设置教程,所以如果你能告诉我为克服这些问题所做的配置会很有帮助。

1 个答案:

答案 0 :(得分:0)

该教程假设您在群集中,Hadoop客户端命令可用,Hadoop服务已启动且已正确配置。

0.0.0.0:8032the default YARN resource manager,因此您需要配置HADOOP_CONF_DIR XML文件(特别是此{1}}以查找此错误)以指向Docker容器中的正确地址纱。 yarn-sitecore也需要配置为指向HDFS。