需要根据记录代码和服务日期使用多种条件过滤数据,并根据col1
,col2
,col3
对不同的值进行计数。
Pyspark参数在执行过程中无法解析并且不返回任何记录。
from_dt = 01-01-2018
end_dt= 12-31-2018
df.filter((trim(df.code) =='AB') | (trim(df.code) =='CD') | (trim(df.code) =='F')).filter("from_dt >= '${0}' & end_dt <= ${1}'").select("col1","col2","col3").distinct().count()