我有一个4节点的hadoop集群。它运行正常。 我暂时停止了hadoop集群:
stop-dfs.sh
stop-yarn.sh
当我使用:
重新启动时start-dfs.sh
start-yarn.sh
所有4个节点上的所有jps(hadoop进程)都正常运行, 但它在运行map-reduce作业时显示以下错误日志:
org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /user/hduser4/QuasiMonteCarlo_14 21995096158_792628557/in/part0 could only be replicated to 0 nodes instead of minReplication (=1).
There are 0 datanode(s) running and no node(s) are excluded in this operation.
上述问题的一个选项是重新格式化HDFS,但它会删除我现有的数据,这对于生产系统来说不是一个合适的解决方案。