是否可以在Amazon Elastic MapReduce工作流程中添加“组合”步骤？

Question

我指的是组合步骤mentioned on the Hadoop wiki。我无法在AWS文档中找到对它的引用，我想利用这一步。

Answer 1

Combiner的文档将在Apache文档中，而不在AWS文档中。 Amazon Elastic MapReduce支持带有自定义补丁的0.18.3 and 0.20.2版Hadoop。 Apache MR Tutorial引用了如何使用组合器函数。调用Job.setCombinerClass()来设置组合器类。