是否可以通过编程方式了解Spark程序在哪种模式下运行?例如,它是以yarn-cluster
还是yarn-client
模式运行?
答案 0 :(得分:3)
您可以使用SparkContext
deployMode
方法
val sc: SparkContext = ???
sc.deployMode
如果您使用SparkSession
,则必须先访问SparkContext
实例:
val spark: SparkSession = ???
spark.sparkContext.deployMode
您当然可以将其与master
电话结合使用,以获得完整的图片:
sc.master