如何从hadoop mapreduce程序创建输出文件？

Question

我是hadoop2.60的新手。我写了一个MapReduce算法。 数据集如下所示 1贷款1234

2贷款234

1 asd 1234

1 aqw 1234

1 asde 1267

2 qwer 1246

我希望如果firstColumn为1，那么该行的所有数据都应该转到file1-output 否则所有数据都会转到file2-output。

如何在map-reduce中实现这一点。

Answer 1

是的，你可以这样做。这可以通过MultipleOutputFormat并使用其generateFileNameForKeyValue来实现。

使用if条件和MultipleOutputFormat可以轻松实现这一点。

您可以看到更多示例。 Is it possible to have multiple output files for a map-reduce?

我希望我能回答你的问题。