Apache Spark 2.4无法与hadoop 2.8.3一起使用?

时间:2018-12-27 06:09:24

标签: apache-spark yarn hadoop2

我已经在Windows 10环境中安装了Hadoop版本2.8.3,并且可以正常工作。现在,当我尝试使用yarn作为群集管理器安装Apache Spark(2.4.0版)时,它不起作用。当我尝试使用spark-submit进行测试以提交Spark作业时,它在失败后进入YARN UI的ACCEPTED选项卡下。

我已附上纱线容器原木的图像。 click

这是我的spark-defaults.conf

spark.master                        yarn
spark.driver.memory                 512m
spark.yarn.am.memory                512m
spark.executor.memory               2G
spark.executor.cores                1
spark.eventLog.enabled              true
spark.eventLog.dir                  hdfs://localhost:9000/spark-logs
spark.history.provider              org.apache.spark.deploy.history.FsHistoryProvider
spark.history.fs.logDirectory       hdfs://localhost:9000/spark-logs
spark.history.fs.update.interval    10s
spark.history.ui.port               18080

0 个答案:

没有答案