在远程纱簇上提交作业需要哪些特定属性

Question

我们正在尝试将一个spark / map-red作业提交到远程纱线集群，并且知道要提交我们在conf目录中需要core-site和yarn-site xmls，但是我试图了解哪些特定属性需要纱线客户端和Spark客户端远程提交作业。我不想共享所有属性。
任何对此的指点都会有所帮助。

Answer 1

我们通常将其称为边缘节点或网关节点，并且以下文件必须在Hadoop和yarn配置下可用。

#hadoop folder
core-site.xml
hadoop-env.sh
hdfs-site.xml
log4j.properties

纱线配置

#yarn folder
core-site.xml
hadoop-env.sh
hdfs-site.xml
log4j.properties
mapred-site.xml
yarn-site.xml

附加示例屏幕截图。