hadoop LineReader - 反向读取文本文件

时间:2015-11-11 22:32:20

标签: hadoop dictionary reverse filereader reduce

在一个场景中,我们有一堆文件,我们想从下到上阅读。所以说的是相反的顺序,即最后一行,然后是最后一行。

在研究Hadoop API时,有许多RecordReader类,例如利用LineReader的LineRecordReader。 基本上我需要一个利用ReverseLineReader的ReverseLineRecordReader。然后,ReverseLineReader将从输入拆分中以相反的顺序读取行。

如果你有一个大文件按某种顺序排序,你需要有一个与某个键相关的第一个和最后一个条目,这将是非常有益的。所以你先扫描自上而下,然后自下而上。

因为我觉得这不是很奇特,但是找不到任何实现,我想知道是否有人可以帮忙。

0 个答案:

没有答案