在Hadoop中按时间和日期过滤

时间:2014-09-26 11:26:27

标签: hadoop hive apache-pig hiveql

我有一个数据表,其日期和时间是两个单独的字段,日期格式为

dd / mm / yyyy和dd-mm-yyyy和时间格式就像hh:mm:ss(例如:6:52:53)

我需要过滤时间和日期明智过滤的特定时间段的记录。

是否有蜂巢或猪的预定义过滤器?

3 个答案:

答案 0 :(得分:0)

Hive确实将某些字符串识别为unixtime日期。

你可以尝试将where条件连接起来,同时连接时间&一起约会到unixtime格式。

有关Hive日期函数/格式的一些文档位于此处:https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF#LanguageManualUDF-DateFunctions

答案 1 :(得分:0)

我想你有一个列有两种日期格式,即。 dd / mm / yyyy和dd-mm-yyyy

你可以尝试什么  1)更换' /'到' - '这样完整的列将采用dd-mm-yyyy格式  2)尝试将该字段与时间字段连接  3)通过铸造连续的场来过滤它
希望这会有所帮助。

答案 2 :(得分:0)

只是可能性: - 您是否尝试过将该连接字段转换为日期数据类型,然后尝试日期函数以获得所需的输出?
例如。 TO_DATE()
https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF