有没有办法限制访问以spark部署模式执行spark-submit作为本地模式。如果我允许用户以本地模式执行作业,我的纱线群将无法使用。
我已配置使用yarn作为集群管理器来安排spark作业。 我检查了火花配置,我没有找到任何参数,只允许特定的部署模式。用户可以在向群集提交spark作业时覆盖默认部署模式。
答案 0 :(得分:0)
您可以通过在spark.master
文件中将yarn
密钥设置为conf/spark-defaults.conf
来激励和促进使用YARN。如果您的配置已准备好指向正确的主服务器,则默认情况下,用户将在YARN上部署其作业。
我不知道有什么方法可以完全禁止用户使用主人,特别是如果它在他们的控制之下(就像local
的情况一样)。如果您控制Spark安装,您可以执行的操作是修改现有的spark-shell
/ spark-submit
启动脚本,以检测用户是否正在尝试明确使用local
作为主服务器并阻止此操作即将发生。或者,您也可以拥有自己的脚本来检查并阻止打开任何local
会话,然后正常运行spark-shell
/ spark-submit
。