我在数据节点上遇到Hadoop复制问题

时间:2019-02-21 09:21:55

标签: apache-spark hadoop yarn

请,你能帮我吗?配置火花解释器以在纱线群集中运行并在yarn-site.xml中设置最小和最大内存后,当我尝试读取CSV文件时,出现以下错误:

org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /user/root/.sparkStaging/application_1550738847656_0001/__spark_libs__572744842297153528.zip could only be replicated to 0 nodes instead of minReplication (=1). There are 0 datanode(s) running and no node(s) are excluded in this operation

这是我的命令,用于读取CSV文件:

val df = spark.read.option("header", "true").csv("file:///home/ia/Projet-Spark-ace/Donnees/Fichiers CSV/*.csv")

在主服务器上,NameNode和ResourceManager实例启动。并且在四个从属服务器上,DataNode和NodeManager实例也处于运行状态。 我该怎么办?

0 个答案:

没有答案