mapreduce.Job:作业因状态失败而失败,原因是:由于AM容器的appattempt_exited的退出代码为1,应用程序失败了2次

时间:2018-11-09 08:15:27

标签: docker hadoop

我配置了hadoop并在Docker上运行它。标题中的问题使我很困惑。详细信息如下。

我参考了本教程

https://hadoop.apache.org/docs/r2.7.1/hadoop-yarn/hadoop-yarn-site/DockerContainerExecutor.html

并运行一个单词计数示例。

./hadoop namenode -format
./start-yarn.sh
./start-dfs.sh
./mr-jobhistory-daemon.sh start historyserver

hdfs dfs -mkdir -p input
echo "hello world" > file.txt
hdfs dfs -put file.txt input

hadoop jar hadoop-mapreduce-examples-2.7.1.jar wordcount -Dmapreduce.map.env="yarn.nodemanager.docker-container-executor.image-name=sequenceiq/hadoop-docker:2.4.1" -Dyarn.app.mapreduce.am.env="yarn.nodemanager.docker-container-executor.image-name=sequenceiq/hadoop-docker:2.4.1" -Dmapreduce.reduce.env="yarn.nodemanager.docker-container-executor.image-name=sequenceiq/hadoop-docker:2.4.1" input output

然后图像中显示的日志:
logs in the master node

,运行此示例时,nodemanager会自动提取一个sequence / spark:1.6.0映像。 docker images in a slave node
我不知道发生了什么事。

然后,我在logs / userlogs /中查看了系统日志。
syslog in the slave node
并且主节点中没有用户日志。

事实上,安全模式始终处于关闭状态。

这是一个非常奇怪的问题。任何建议和解决方案将不胜感激!

0 个答案:

没有答案