如何使用Hadoop生成时间序列?

时间:2013-08-28 12:30:24

标签: date hadoop time-series sequence

使用Hadoop(或猪或Hive)生成时间序列的最简单方法是什么?或者我在哪里可以获得有关正确函数的信息?

例如,我希望从2000年1月1日00:00:00到2010年12月31日23:59:59生成1秒序列。

对于其他程序,例如R,非常简单,因为它们有很多功能可以处理日期和时间。

此致

2 个答案:

答案 0 :(得分:1)

您可以使用空map()方法编写映射器。在cleanup()方法中,使用几个java包中的任何一个(例如Joda)来帮助迭代并格式化时间戳,然后再将它们写入上下文。

答案 1 :(得分:0)

当你发现R这么简单时,为什么不使用Hadoop Streaming? :)

AFAIK,没有OOTB功能可以做到这一点。正如您已经提到的,R有许多很酷的内置函数,您可以在流式MR作业中使用它们。