Question

我遇到了从YARN上运行的Spark Cluster外部机器提交spark-submit远程作业的问题。

Exception in thread "main" java.net.ConnectionException: Call from remote.dev.local/192.168.10.65 to target.dev.local:8020 failed on connection exception: java.net.ConnectionException: Connection Refused

在我的core-site.xml中：

<property>
  <name>fs.defaultFS</name>
  <value>hdfs://target.dev.local:8020</value>
<property>

同样在我的群集中的hdfs-site.xml中，我检查了HDFS的权限：

<property>
  <name>dfs.permissions.enabled</name>
  <value>false</value>
<property>

此外，当我从群集外的机器远程登录时：

telnet target.dev.local 8020

我正在

telnet: connect to address 192.168.10.186: Connection Refused

但是，当我

telnet target.dev.local 9000

它表示已连接。

当我ping target.dev.local它有效时。

来自远程计算机的我的spark-submit脚本是：

export HADOOP_CONF_DIR=/<path_to_conf_dir_copied_from_cluster>/

spark-submit --class org.apache.spark.examples.SparkPi \
--master yarn \
--deploy-mode cluster \
--driver-memory 5g \
--executor-memory 50g \
--executor-cores 5 \
--queue default \
<path to jar>.jar \
10

我在这里缺少什么？

Answer 1

原来我必须改变

<property>
  <name>fs.defaultFS</name>
  <value>hdfs://target.dev.local:8020</value>
<property>

到

<property>
  <name>fs.defaultFS</name>
  <value>hdfs://0.0.0.0:8020</value>
<property>

允许连接形成外部，因为target.dev.local位于专用网络交换机中。

Spark远程执行到群集失败 - HDFS连接拒绝于8020

1 个答案: