我有一个带有纬度和经度列的Spark SQL DataDrame
,我试图通过计算到输入的距离来过滤低于阈值的行。我目前的代码看起来像。我正在使用geopy
(great_circle
)来计算lat长对之间的距离。
from geopy.distance import great_circle
point = (10, 20)
threshold = 10
filtered_df = df.filter(great_circle(point, (df.lat, df.lon)) < threshold)
当我运行此代码时,我收到以下错误
ValueError: Cannot convert column into bool: please use '&' for 'and', '|' for 'or', '~' for 'not' when building DataFrame boolean expressions.
我对过滤器表达式的哪一部分错误感到困惑。
答案 0 :(得分:2)
您无法在DataFrame
上应用纯Python函数。您必须使用udf
:
from pyspark.sql.functions import udf
@udf("float")
def great_circle_udf(x, y):
return great_circle(x, y).kilometers
并将其应用于列
from pyspark.sql.functions import lit, struct
point = struct(lit(10), lit(20))
df.filter(great_circle_udf(point, struct(df.lat, df.lon)) < threshold))
装饰器语法自2.2起就有效,对于早期版本,您需要标准udf
来电:
udf(great_circle, FloatType())