在HDInsight火花集群上提交火花作业时连接被拒绝错误

时间:2017-05-03 08:31:28

标签: apache-spark hdinsight

我正在HDInsight火花集群上提交火花作业。提交作业时,会抛出以下错误:

  

17/05/01 13:55:14 WARN客户端:无法连接到服务器:   hn0-testsp.a0yxittmcfkubfqkfg1ld1vobc.bx.internal.cloudapp.net/172.18.0.28:8050:   由于超出允许的最大重试次数,重试失败:0   java.net.ConnectException:拒绝连接

这里172.18.0.28是spark headnode IP地址。

以下是带输入参数的命令:

spark-submit --class com.org.stream.spark.CustomKafkaStreamWriter \
    --master yarn \
    --deploy-mode cluster \
    --driver-memory 4g \
    --executor-memory 2g \
    --executor-cores 1 \
    --queue thequeue \
    target/sampleproject-SNAPSHOT.jar \
    172.18.0.39:2181 172.18.0.35:9092

任何人都可以帮助解决问题吗?

1 个答案:

答案 0 :(得分:0)

据我所知,您无法直接从外部访问Spark。

而是登录ssh节点或者,这可能是更好的解决方案,因为您可以独立于群集提交作业,通过livy提交作业