Hadoop Streaming - 如何使用Python从reducer输出到多个目录/文件

时间:2015-08-04 20:44:11

标签: python-2.7 hadoop mapreduce

我必须根据某些条件将输出写入多个目录。我知道可以使用Java中的MultipleOutputFormat类来完成它。

我想知道,我们如何在不使用Pydoop等外部库的情况下在Python中实现这一目标

输出应该如下所示:

a1/b1/c1/file1,
a1/b1/c2/file2,
a1/b2/c1/file3,
a2/b1/c1/file4,
a2/b2/c2/file5,
a2/b2/c3/file6

0 个答案:

没有答案