在Hadoop 0.20中的NLinesInputFormat替代方案？

Question

我正在使用Hadoop 0.20，并希望使用NLinesInputFormat，但此功能不存在？

有替代方案吗？

这是我正在尝试做的事情：

数据中的记录跨越多行，因此我将NLinesInputFormat设置为'k'的倍数，其中k是每条记录所需的行数。

任何帮助将不胜感激。

Answer 1

NLineInputFormat（它是Line而不是Lines）在0.20。新的MR API在0.20中引入，但NLineInputFormat未移植到新的API。

如果您使用的是新的MR API，那么您可以尝试将新的API NLineInputFormat从其他版本移植到0.20。它应该不那么困难，你也将学习如何编译和构建一个Hadoop jar。