使用Hadoop(或猪或Hive)生成时间序列的最简单方法是什么?或者我在哪里可以获得有关正确函数的信息?
例如,我希望从2000年1月1日00:00:00到2010年12月31日23:59:59生成1秒序列。
对于其他程序,例如R,非常简单,因为它们有很多功能可以处理日期和时间。
此致
答案 0 :(得分:1)
您可以使用空map()方法编写映射器。在cleanup()方法中,使用几个java包中的任何一个(例如Joda)来帮助迭代并格式化时间戳,然后再将它们写入上下文。
答案 1 :(得分:0)
当你发现R这么简单时,为什么不使用Hadoop Streaming? :)
AFAIK,没有OOTB功能可以做到这一点。正如您已经提到的,R有许多很酷的内置函数,您可以在流式MR作业中使用它们。