Pyspark中的多个过滤器

时间:2019-03-25 22:44:30

标签: pyspark

需要根据记录代码和服务日期使用多种条件过滤数据,并根据col1col2col3对不同的值进行计数。

Pyspark参数在执行过程中无法解析并且不返回任何记录。

from_dt = 01-01-2018
end_dt= 12-31-2018

df.filter((trim(df.code) =='AB') | (trim(df.code) =='CD') | (trim(df.code) =='F')).filter("from_dt >= '${0}' & end_dt <= ${1}'").select("col1","col2","col3").distinct().count()

0 个答案:

没有答案