标签: apache-spark hadoop yarn
如果将新作业提交到Apache YARN集群,则状态页通常会指示实际提交作业的方式(除其他外):
Application Type: SPARK
这表明用户最有可能使用spark-submit来向资源管理器发布新作业。
是否可以通过更改参数名称的方式来更改该字符串的值?
答案 0 :(得分:1)
当Spark设置纱线应用上下文时,将设置应用类型。
AFAIK,无法通过某些配置对其进行更改。如果确实很重要,则必须在源代码中覆盖它。
下面的实现, https://github.com/apache/spark/blob/01c3dfab158d40653f8ce5d96f57220297545d5b/resource-managers/yarn/src/main/scala/org/apache/spark/deploy/yarn/Client.scala#L241