Pyspark:向过滤器功能添加参数

时间:2020-10-28 10:44:15

标签: apache-spark pyspark

请,我将提供一些帮助:我需要向该函数添加参数,但是此语法不正确:

val input_parameter = 100
df_filtered = (df.filter(( (F.col('LOCID') != F.col('LOCID2') ) & 
                           (F.col('distance') <= F.col('RADIUSINMETERS') + F.col('RADIUSINMETERS2') + input_parameter)  
                        ))
              )

非常感谢!

1 个答案:

答案 0 :(得分:1)

Spark需要知道您正在传递变量,为此,我们需要确保在文档的 lit() 函数中进行传递

创建文字值列。

更多信息,here