标签: python apache-spark pyspark
我有一个变量希望发送到我的工作节点,以便可以在函数中使用它。
这里是一个例子:
var = 'Hello World!' def fun(x): return var in x fun_udf = udf(fun, BooleanType()) sdf = sdf.withColumn('res', fun_udf('str'))
这是怎么做的?我知道sc.broadcast,但是sc.broadcast(var)不能解决问题。
sc.broadcast(var)