Hadoop映射器发出一个唯一的密钥。我可以在每张地图后执行减速机吗？

Question

我的映射器发出 'uniq key' - '非常大的价值'对。

我的减速机不知道钥匙是唯一的。 因此，reducer等待所有映射器完成。

我尝试使用合成器，但对我来说这不是一个简单的解决方案，因为我的减速器非常复杂。

我的问题是如何在每张地图后执行减速器？不使用合并器。

Answer 1

如果您的密钥是uniq，则无需减少它们。因此，只需将reducer reducer代码复制粘贴到mapper并将reducer number设置为零。顺便说一句，有很多地图减少工作，不需要减少步骤，所以它不是什么奇怪的事。

Answer 2

如果您事先知道您的密钥是唯一的，那么您可以将所有代码从reducer步骤移动到地图和所有工作中。

Answer 3

我不明白你的问题。您无法在作业配置中指定合并器。