Question

我有一个Dataframe，其中填充了load_date_time。我想使用其他一些DataFrame中的max（date_value）过滤该数据框。

我尝试执行以下操作。

var placeholder = "<span class='fas-icon'>&#xf45f</span> Select...";
    $("#mysel").select2({
        theme: 'bootstrap4',
        dataAdapter: CustomData,
        placeholder: placeholder,
        width: null,
        escapeMarkup: function(m) { 
           return m; 
        }
    });

然后尝试根据该日期过滤第一个数据框。它有一个称为load_date_time的时间戳列。

df2_max_create_date = df2.select("create_date").agg(F.max(df_dsa["create_date"]))
df2_max_create_date.show()
+----------------+
|max(create_date)|
+----------------+
|      2019-11-10|
+----------------+

但是我遇到了错误。

df_delta = df1.where(F.col('load_date_time') > (F.lit(df2_max_create_date)))

Answer 1

您可以通过调用max_date来获取collect变量：

max_create_date = df2.select(F.max(df_dsa["create_date"])).collect()[0][0]
df_delta = df1.where(F.col('load_date_time') > max_create_date)

如何基于其他pyspark数据帧中的日期值过滤第二个pyspark数据帧？

1 个答案: