提交spark作业时java.net.ConnectException（在端口9000上）

Question

运行此命令时：

~/spark/bin/spark-submit --class [class-name] --master [spark-master-url]:7077 [jar-path]

我正在

  

java.lang.RuntimeException：java.net.ConnectException：调用ec2- [ip] .compute-1.amazonaws.com / [internal-ip]： 9000 连接异常失败： java.net.ConnectException：拒绝连接

使用spark版本1.3.0。

我该如何解决？

Answer 1

当Spark在群集模式下运行时，所有输入文件都应来自HDFS（否则工作人员将如何从master的本地文件中读取）。但在这种情况下，Hadoop并没有运行，所以它给出了这个例外。

启动HDFS解决了这个问题。