使用带有MultipleOutputs的OrcNewOutputFormat

时间:2016-01-22 05:48:24

标签: hadoop mapreduce orc multipleoutputs

我的最终目标是将每个reducer的orc输出溢出到自己的文件夹中,将多个外部表存储为orc。我正在尝试重现这个http://hadoopathome.logdown.com/posts/277986-using-multipleoutputs-with-orc-in-mapreduce,它似乎不起作用。输出既不会拆分到文件夹也不会生成正确的文件。

我用文本输出测试了MultipleOutputs,用context.write()测试了OrcNewOutputFormat,它就像魅力一样。有没有人对这种组合有任何好运?

Hive是0.14.0。 Hadoop 2.6.0

0 个答案:

没有答案