Pyspark：尝试连接到Java服务器时发生错误

Question

我正在JupyterNotebook中开始我的Pyspark会话：

spark = (SparkSession.builder.appName('myApp')
         .config("spark.executor.memory", "4g")
         .config("spark.executor.instances", "20")
         .config("spark.master", "yarn")
         .config("spark.driver.memory", "8g")
         .config("spark.ui.port", "4373")
         .config("spark.driver.maxResultSize", "1g")
         .enableHiveSupport()
        .getOrCreate())

但随后出现此错误：

Py4JNetworkError: An error occurred while trying 
to connect to the Java server (127.0.0.1:34032)

有时候SparkSession可以正常运行，但是后来在我处理脚本时，它会显示错误。 想知道如何解决它。