PySpark-将变量发送到工作节点

时间:2018-07-11 21:13:00

标签: python apache-spark pyspark

我有一个变量希望发送到我的工作节点,以便可以在函数中使用它。

这里是一个例子:

var = 'Hello World!'

def fun(x):
    return var in x

fun_udf = udf(fun, BooleanType())

sdf = sdf.withColumn('res', fun_udf('str'))

这是怎么做的?我知道sc.broadcast,但是sc.broadcast(var)不能解决问题。

0 个答案:

没有答案