尝试从Spyder加载HDFS文件时连接被拒绝

时间:2017-10-19 07:16:13

标签: python hadoop apache-spark hdfs spyder

我在名为Spyder的Python IDE中使用Apache SPARK和Python(pyspark)。我正在尝试从HDFS加载文件,如下所示:

hdfs_file = sc.textFile(hdfs_path)

我确保路径正确并且文件存在,但是当我执行命令时,我得到下一个错误行:

Py4JJavaError: An error occurred while calling o24.partitions.
: java.net.ConnectException: Call From XXXX.local/127.0.0.1 to localhost:9000 failed on connection exception: java.net.ConnectException: Connection refused; For more details see:  http://wiki.apache.org/hadoop/ConnectionRefused

如何从HDFS正确加载文件?

1 个答案:

答案 0 :(得分:1)

解决!

它只是启动了hdfs服务器。