配置“ spark.sql.broadcastTimeout”不起作用

Question

我想通过pyspark加入2 df，有很多列。 每当我尝试执行连接时，都会出现以下错误：

Py4JJavaError: An error occurred while calling o1768.collectToPython.
: org.apache.spark.SparkException: Exception thrown in awaitResult: 
(ommit)

并且我尝试使用spark.sql.broadcastTimeout，但是它不起作用：

spark = SparkSession\
.builder\
.master('local')\
.config("spark.sql.broadcastTimeout", "36000")
.getOrCreate()

您能给我个建议吗？