如何在Hadoop中设置reducer输出名称？

Question

我的工作将发出900,000种不同的输出。其中每一个都必须通过一个特定的唯一名称来识别......这就是＆＃34;名称＆＃34;我在mapOutputKey上。我如何在map-reduce中执行此操作？

Answer 1

您可以使用MultipleOutputs，documentation您将找到几乎完全符合您需要的示例，您只需要将generateFileName函数替换为此函数：

String generateFileName(K k, V v) {
  return k.toString();
}