我使用spark-submit为我的工作使用以下命令：
spark-submit script_test.py --master yarn --deploy-mode cluster spark-submit script_test.py --master yarn-cluster --deploy-mode cluster
工作正常。我可以在Spark History Server UI下看到它。但是，我无法在RessourceManager UI（YARN）下看到它。
我觉得我的工作没有发送到集群，但它只在一个节点上运行。但是，我在使用Spark-submit命令的方式上没有看到任何错误。
我错了吗？我怎么检查呢？或者将工作发送到纱线集群？
答案 0 :(得分：0)
当您使用--master yarn时，意味着在某些地方您已使用主机，端口等配置了纱线站点。
也许您使用spark-submit的机器并不知道纱线主机的位置。
您可以检查您的hadoop / yarn / spark配置文件，特别是yarn-site.xml，以检查资源管理器的主机是否正确。
这些文件位于不同的文件夹中，具体取决于您使用的Hadoop分布。在HDP中，我猜他们在/etc/hadoop/conf
希望它有所帮助。