在本地模式下限制Spark作业

时间:2018-02-06 06:45:06

标签: hadoop apache-spark yarn

有没有办法限制访问以spark部署模式执行spark-submit作为本地模式。如果我允许用​​户以本地模式执行作业,我的纱线群将无法使用。

我已配置使用yarn作为集群管理器来安排spark作业。 我检查了火花配置,我没有找到任何参数,只允许特定的部署模式。用户可以在向群集提交spark作业时覆盖默认部署模式。

1 个答案:

答案 0 :(得分:0)

您可以通过在spark.master文件中将yarn密钥设置为conf/spark-defaults.conf来激励和促进使用YARN。如果您的配置已准备好指向正确的主服务器,则默认情况下,用户将在YARN上部署其作业。

我不知道有什么方法可以完全禁止用户使用主人,特别是如果它在他们的控制之下(就像local的情况一样)。如果您控制Spark安装,您可以执行的操作是修改现有的spark-shell / spark-submit启动脚本,以检测用户是否正在尝试明确使用local作为主服务器并阻止此操作即将发生。或者,您也可以拥有自己的脚本来检查并阻止打开任何local会话,然后正常运行spark-shell / spark-submit