我已经在Windows 10环境中安装了Hadoop版本2.8.3,并且可以正常工作。现在,当我尝试使用yarn作为群集管理器安装Apache Spark(2.4.0版)时,它不起作用。当我尝试使用spark-submit进行测试以提交Spark作业时,它在失败后进入YARN UI的ACCEPTED选项卡下。
这是我的spark-defaults.conf
spark.master yarn
spark.driver.memory 512m
spark.yarn.am.memory 512m
spark.executor.memory 2G
spark.executor.cores 1
spark.eventLog.enabled true
spark.eventLog.dir hdfs://localhost:9000/spark-logs
spark.history.provider org.apache.spark.deploy.history.FsHistoryProvider
spark.history.fs.logDirectory hdfs://localhost:9000/spark-logs
spark.history.fs.update.interval 10s
spark.history.ui.port 18080