获取Spark作业的app运行ID

Question

我希望从我运行Spark工作的地方获得该职位的唯一ID。

通过Spark主节点网站，我可以看到该ID。它类似于：

ID: app-20140429125304-0452

在创建正在运行的工作时，有没有办法解决这个问题？也许通过SparkContext？

Answer 1

是的，正如你所说：

sc.applicationId
res0: String = app-20150224184813-11531

（这是火花1.2）

请参阅

上的API文档

• https://spark.apache.org/docs/1.6.1/api/scala/index.html#org.apache.spark.SparkContext

Answer 2

对于那些使用pyspark的人，请看这个几乎相同的问题：How to extract application ID from the PySpark context

@vvladymyrov的回答让我在纱线客户端模式下运行pyspark。

>>> sc._jsc.sc().applicationId()
u'application_1433865536131_34483'

Answer 3

在使用中引入了来自Spark 2.0+的spark: org.apache.spark.sql.SparkSession

scala> spark.sparkContext.applicationId
res1: String = app-20170228091742-0025

Answer 4

这取决于您使用的语言。

<强> Scala的

https://spark.apache.org/docs/1.6.1/api/scala/index.html#org.apache.spark.SparkContext

sc.applicationId

<强>爪哇

https://spark.apache.org/docs/1.6.2/api/java/org/apache/spark/api/java/JavaSparkContext.html

sparkContext.sc().applicationId();

<强>的Python

http://spark.apache.org/docs/1.6.2/api/python/pyspark.html#pyspark.SparkContext

sc.applicationId

它也可以依赖于Spark版本。