我在Hadoop 2.8.1上安装了Spark 2.1.1。
我已经在spark-env.sh上指定了HADOOP_CONF_DIR。我在spark-defaults.sh上也有以下设置
spark.yarn.access.namenodes hdfs://hadoop-node0:55555/
但是当我使用以下命令执行spark-shell时，
sparkuser@hadoop-node0:/home/apps/spark-2.1.1-bin-hadoop2.7$ bin/spark-shell --master yarn --deploy-mode client
HADOOP_CONF_DIR设置似乎被忽略，因此它不会检索core-site.xml和hdfs-site.xml上的设置，因为我总是收到以下错误：
17/07/25 10:15:24 ERROR spark.SparkContext: Error initializing SparkContext.
java.lang.IllegalArgumentException: java.net.UnknownHostException: spark
当我添加＆＃34; spark＆＃34;在我的/ etc / hosts上作为localhost的替代方案，我总是收到以下错误：
17/07/25 10:17:15 ERROR spark.SparkContext: Error initializing SparkContext.
java.net.ConnectException: Call From XXXX/XXX.XXX.XXX.XXX to spark:8020 failed on connection exception: java.net.ConnectException: Connection refused; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused
所以它总是试图达到127.0.0.1:8020，这当然不起作用，因为没有人在听它。
您认为我错过了在配置文件中指定的内容？
提前多多感谢。
亲切的问候，
安托