打印SparkSession配置选项

Question

当我开始使用pyspark时，会自动生成SparkSession并将其作为“spark”提供。我想打印/查看spark会话的详细信息，但访问这些参数有很多困难。

Pyspark auto创建SparkSession。可以使用以下代码手动创建：

from pyspark.sql import SparkSession
spark = SparkSession.builder.appName("PythonSQL")\ 
        .config("spark.some.config.option", "some-value")\ 
        .getOrCreate()

我想查看/打印appname和配置选项。我希望看到这些的原因是由于我遇到的另一个问题，这可能会对此有所启发。

Answer 1

可以使用SparkContext：

访问应用程序名称

spark.sparkContext.appName

可以使用RuntimeConfig：

访问配置

from py4j.protocol import Py4JError

try: 
   spark.conf.get("some.conf")
except Py4JError as e:
   pass