Spark时间戳列值比较

Question

Sample data我想过滤掉date_time_begin小于开始日期的行，我试过这个，但我没有得到任何输出。我正在使用spark 1.6.2版本

 filterddata = joindedf.filter(joindedf("date_time_begin").gt(lit("str_date")))
 filterddata.show()

Answer 1

如果两个columns都是相同的datatype，那么这应该有效。

val filterddata = joindedf.filter(joindedf("date_time_begin").gt(joindedf("str_date")))

lit用于将文字值转换为column。

我希望这有帮助！