如何保留mapreduce中前一行的值

时间:2016-08-18 07:18:25

标签: mapreduce

我是MapReduce的新手。我想处理一个包含以下格式数据的日志文件

EXECUTED: 2016-05-19 07:11:15
.AAAAA
EXECUTED: 2016-05-19 07:11:27

EXECUTED: 2016-05-20 08:11:20
.BBBBB
EXECUTED: 2016-05-20 07:11:27

我需要计算命令的执行时间,例如.AAAAA / .BBBBB

第一行显示执行开始时间,最后一行显示完成时间。

我想写一个MapReduce程序来计算exe时间。如何从第一行保留时间,并在第二次EXECUTED:遇到时使用?

有没有其他方法可以处理它?<​​/ p>

谢谢, 桑杰

1 个答案:

答案 0 :(得分:1)

运行Map方法以从第一行读取值时,将所需值存储在静态变量中。
当Map方法读取下一行时,您可以使用静态变量来比较数据,执行必要的计算并将其传递给Reducer。