Spark提交给远程纱线

Question

我有两个clodera hadoop集群（prod和dev）和一台客户机。此客户端计算机配置为prod群集的网关节点 从这里我可以使用

向我的prod集群提交一个spark作业

spark-submit --master yarn job_script.py

现在，我想从此客户端计算机向我的开发群集提交相同的作业 我尝试使用

spark-submit --master yarn://<dev_resource_manager_ip>:8032 job_script.py

但这似乎不起作用，我的工作仍然被提交给prod集群。我怎么能告诉spark-submit将作业提交到开发群集资源管理器而不是prod群集。

Answer 1

使用所有Hadoop XML for dev cluster创建目录，并在HADOOP_CONF_DIR之前覆盖spark-submit环境变量。