如何从Hive query / pyspark

时间:2018-07-03 00:28:25

标签: python apache-spark-sql max min pyspark-sql

我在unix时间戳记中有一个日期列,如下所示:

%sql select timestamp from table where date_column = 'date=2018053000' limit 5

1527688604
1527688608
1527688610
1527688612
1527688616

现在,通过此查询,我可以将日期转换为 %sql select from_unixtime(timestamp) as timestamp2 from table where date_column = 'date=2018053000' limit 5

timestamp2

    2018-05-30 13:56:44
    2018-05-30 13:56:48
    2018-05-30 13:56:50
    2018-05-30 13:56:52
    2018-05-30 13:56:56

我想获取最大日期值。我尝试了一些堆栈溢出答案,但没有一个能给我预期的结果。

我正在尝试从结果中查找最大日期和最小日期。使用limit 5只是5个结果,但实际上我想对整个结果集进行操作。

0 个答案:

没有答案