在hadoop中禁用Combiner

Question

我想确保MapReduce程序（在Hadoop中）不在mapper端进行任何组合。我知道conf.setCombinerClass()将组合器类设置为我们指向的类。

如果我们不使用此set函数指定组合器类，那么是否禁用了组合，或者仍然存在一些隐式默认组合器。如果是这样，那么我们如何禁用这种组合呢？

Answer 1

没有默认的组合器，因为并非所有的map reduce算法都能容纳一个。在给定任意mapper和reducer类的情况下，Hadoop无法自动确定或生成，组合器（如果有的话）甚至可以工作。

以下文章解释哪种类型的MR算法有资格使用合并器：

http://jazzjuice.blogspot.com/2011/08/requirements-for-using-hadoop-combiner.html

Answer 2

没有隐式组合器，您必须明确设置它。