创建SPARK RDD（HDFS上的文件）并调用Action时出错

Question

scala> val manager=sc.textFile("hdfs://localhost:54310/user/training/employee_dir/employeeManager")
scala> manager.first

ERROR：

java.io.EOFException: 
End of File Exception between local host is:
"localhost.localdomain/127.0.0.1";
destination host is: "localhost":54310; :      
java.io.EOFException; For          more details
see:http://wiki.apache.org/hadoop/EOFException

我是否需要设置任何属性spark-home/conf？

Answer 1

如果未运行包含Java的服务，则可能会出现此问题。请检查所有服务是否正在运行。此外，请检查防火墙权限。另一个原因可能是这样的：

  

hadoop的主机名为“xxx”而不是“localhost”;你可能想检查一下   “xxx”和“localhost”的“/ etc / hosts”中的ip地址已正确设置。

无论您做什么，请备份您的文件并检查您的风险。