我正在运行spark-sql并存储在df和 我正在尝试播放此df 这样我以后可以在复杂的查询中使用它 当我尝试去做 sc.broadcast(df) 我在日志中收到此错误
当不运行广播时,代码运行良好,但是我正在尝试优化sql
from pyspark.sql.functions import broadcast
sc = SparkContext()
df = sqlContext.sql("select * from some table")
sc.broadcast(df)
期望火花作业更快地执行