如何以编程方式了解应用程序是使用YARN在客户端还是集群部署模式下运行?

时间:2017-05-27 17:04:36

标签: scala apache-spark yarn

是否可以通过编程方式了解Spark程序在哪种模式下运行?例如,它是以yarn-cluster还是yarn-client模式运行?

1 个答案:

答案 0 :(得分:3)

您可以使用SparkContext

deployMode方法
val sc: SparkContext = ???
sc.deployMode

如果您使用SparkSession,则必须先访问SparkContext实例:

val spark: SparkSession = ???
spark.sparkContext.deployMode

您当然可以将其与master电话结合使用,以获得完整的图片:

sc.master