mapreduce的参数

Question

我正在使用appengine的Java mapreduce模块 我收到以下信息

超出映射器配额。中止请求，直到补贴配额为止。如果您希望映射器作业更快完成，请考虑增加mapreduce.mapper.inputprocessingrate（默认值为1000）。

任务参数。
队列名称=默认
rate = 1 / s
bucketsize = 1

我有大约2000个KIND实体，我只是在map（）调用中进行日志记录

需要提供哪些mapreduce / task参数来摆脱该信息消息。

-Aswath

Answer 1

我认为这是框架本身实现的mapreduce中的特殊配额。它旨在限制它可以消耗资源的速度，以便这样做 mapreduce不会太快地通过可用的应用引擎配额运行。看起来它表示map（）调用/秒的最大总体速率。

尝试在地图作业的配置中增加mapreduce.mapper.inputprocessingrate属性。 或者，只是为了测试，您可以更改mapreduce/AppEngineJobContext.java中定义的默认值：

public static final int DEFAULT_MAP_INPUT_PROCESSING_RATE = 1000;