Question

我有一个数据框，其中包含每个客户在每个日期的多种产品。在新列中，我尝试按客户获取以前的唯一日期。

Cst Prod    Dt  Desired Output
C1  P1  1-Jan-16    0
C1  P2  1-Jan-16    0
C1  P3  1-Jan-16    0
C1  P4  1-Jan-16    0
C1  P1  20-Jan-16   1-Jan-16
C1  P2  20-Jan-16   1-Jan-16
C2  P2  5-Feb-17    0
C2  P3  5-Feb-17    0
C2  P4  5-Feb-17    0
C2  P1  30-Mar-17   5-Feb-17

我只是从PySpark开始。到目前为止，我尝试为每个客户创建一个日期数组列（CUM_DATE），然后应用UDF获取该行中除一个日期以外的所有日期，然后采用数组列的最大值。

-上的某事

def filter_currdate(arr, dt):
    return [x for x in arr if x not in dt]

filter_currdate_udf = F.udf(lambda x: filter_code(x), ArrayType(DateType()))

df = df.withColumn('except_date', filter_currdate_udf(df['CUM_DATE'], df['Dt']))
df = df.withColumn('max_prev_date',F.max(df['except_date']))

但是它遇到了错误，我无法找到一种更好的方法来获取此输出。

Answer 1

还有其他没有自定义UDF函数的方法。假设df具有列cst，prod，dt：

from pyspark.sql.functions import max
df.alias('df1').join(df.alias('df2'), 
( 
   col('df1.cst')==col('df2.cst') 
 & col('df1.prod') == col('df2.prod')
 & col('df1.dt') > col('df2.dt'),
 how='left_outer'
).select('df1.*', 'df2.dt')
.groupBy('df1.cst', 'df1.prod', 'df1.dt')
.agg(max('df2.dt'))

在数据框中查找以前的唯一值-Pyspark

1 个答案: