在Hadoop中将整个文件文本添加为​​Map Key

Question

我正在寻找一种将整个文件文本加载到地图中的方法。像TextInputFormat那样一次没有一行。因此，当我在地图中执行value.toString时，它会为我提供完整的输入。 感谢

Answer 1

您必须将每一行放入StringBuilder，直到您到达文件末尾。或者您覆盖提供此功能的自己的RecordReader。但我不建议这样做。

Answer 2

我将文件的路径名称映射到mapper，然后将完全自由加载或者进行某种流处理。