如何打印出Spark会话的Spark连接？

Question

假设我运行pyspark命令并获得类型为spark的全局变量SparkSession。据我了解，这个spark与Spark主人保持着联系。我可以打印出这个连接的详细信息，包括这个Spark master的主机名吗？

Answer 1

有关基本信息，您可以使用master属性：

spark.sparkContext.master

要了解有关YARN的详细信息，您可能需要深入了解hadoopConfiguration：

hadoopConfiguration = spark.sparkContext._jsc.hadoopConfiguration()
hadoopConfiguration.get("yarn.resourcemanager.hostname")

或

hadoopConfiguration.get("yarn.resourcemanager.address")

当提交给YARN时，Spark使用Hadoop配置来确定资源管理器，因此这些值应与HADOOP_CONF_DIR或YARN_CONF_DIR中的配置中的值匹配。