Yarn的“应用程序类型”在哪里/如何定义?

时间:2018-09-08 08:50:58

标签: apache-spark hadoop yarn

如果将新作业提交到Apache YARN集群,则状态页通常会指示实际提交作业的方式(除其他外): enter image description here

Application Type: SPARK

这表明用户最有可能使用spark-submit来向资源管理器发布新作业。

是否可以通过更改参数名称的方式来更改该字符串的值?

1 个答案:

答案 0 :(得分:1)

当Spark设置纱线应用上下文时,将设置应用类型。

AFAIK,无法通过某些配置对其进行更改。如果确实很重要,则必须在源代码中覆盖它。

下面的实现, https://github.com/apache/spark/blob/01c3dfab158d40653f8ce5d96f57220297545d5b/resource-managers/yarn/src/main/scala/org/apache/spark/deploy/yarn/Client.scala#L241