限制地图减少作业以减少使用资源

Question

我使用的是Hadoop 2.5.0-cdh5.3.3。我创建了一个地图缩减作业，导致大量的地图作业。因此它消耗了所有资源。如何防止它仅使用有限的资源？

Answer 1

您可以将块大小增加64 MB到更高的配置， 要么 您可以设置名为“mapred.map.tasks”的参数来限制每个节点的映射任务数。

注意：这会影响性能，因为会将更多的块分配给任务跟踪器节点。