我试图记录在一个Yarn集群中运行的每个Spark应用程序的属性（属性如spark.shuffle.compress，spark.reducer.maxMbInFlight，spark.executor.instances等）。
但我不知道这些信息是否记录在任何地方。我知道我们可以通过＆＃34;纱线＆＃34;命令，但我所谈论的属性不存储在那里。
无论如何都可以访问这种信息吗？我们的想法是跟踪集群中运行的所有应用程序及其属性，以确定哪些应用程序在执行时间中影响最大。
答案 0 :(得分：0)
您可以自行登录...使用sc.getConf.toDebugString，sqlContext.getConf("")或sqlContext.getAllConfs。
scala> sqlContext.getConf("spark.sql.shuffle.partitions")
res129: String = 200
scala> sqlContext.getAllConfs
res130: scala.collection.immutable.Map[String,String] = Map(hive.server2.thrift.http.cookie.is.httponly -> true, dfs.namenode.resource.check.interval ....
scala> sc.getConf.toDebugString
res132: String =
spark.app.id=local-1449607289874
spark.app.name=Spark shell
spark.driver.host=10.5.10.153
编辑：但是，我找不到您在sqlContext.getAllConfs中的1200多个属性中指定的属性:(否则文档说：
http：//：4040的应用程序Web UI列出了Spark属性 在“环境”选项卡中。这是一个有用的地方，以确保 您的属性设置正确。请注意，只有值 通过spark-defaults.conf，SparkConf或者 命令行将出现。对于所有其他配置属性，您 可以假设使用了默认值。