Map-Reduce <key,value =“”>对Key是一个时间间隔

时间:2018-12-08 21:19:11

标签: java hadoop mapreduce

我有一个文本文件,每行上都有以下内容:

Late

我需要的是应用Map-Reduce输出后看起来像这样:

2018-11-27T08:06:11, 4.000000, 6.000000

2018-11-27T08:06:13, 9.000000, -1.000000

2018-11-27T08:06:15, 2.000000, -3.000000

2018-11-27T08:06:17, 1.000000, 9.000000

2018-11-27T08:06:19, 5.000000, -1.000000

[值]只是30秒间隔内的最大值,但是我很难创建该“时间间隔”键。 基本上,我希望我的按键间隔为30秒。

我是Hadoop和Map-Reduce的新手,因此非常感谢任何建议,想法,资源或代码片段。

先谢谢您!

[编辑]

我设法实现了Map-Reduce,它适用于我的情况,但是由于某种原因,除了所需的输出外,还会显示输入文件中的一些数据。 你知道为什么吗?

这里是课程,我在代码中给该行造成了麻烦,并在其中留下了注释。 如果我删除该行,它将不再起作用,但是在写完该行后,我将获得尴尬的输出(包含我的输入数据和所需的输出)

问题出在底部的“减少”方法中。

2018-11-27T08:06:00 -> 2018-11-27T08:06:30, 9.000000, 9.000000

您能提供任何建议吗? 谢谢!

0 个答案:

没有答案