如何在AppEngine上限制appengine-mapreduce？

Question

http://code.google.com/p/appengine-mapreduce/提到它可以控制执行速度，但我无法弄清楚如何。为映射器作业创建任务队列并从那里控制速度是有意义的，但我不知道如何指定要使用的队列。

Answer 1

我自己不使用Java版本，但Python版本有一个processing_rate参数，您可以将其传递给映射器规范。

Java源代码中的快速搜索会显示MAPPER_INPUT_PROCESSING_RATE_KEY配置密钥，希望指向正确的方向。

Answer 2

（感谢Chris的指针，但在此之后需要进行一些挖掘才能找到确切的参数。）

从http://code.google.com/p/appengine-mapreduce/wiki/UserGuideJava添加到mapreduce.xml配置元素，以限制每秒处理的实体数量：

<property>
    <name>mapreduce.mapper.inputprocessingrate</name>
    <value>4</value>
</property>

Answer 3

对于使用python的用户，您可能希望在model.py中搜索名为“_DEFAULT_PROCESSING_RATE_PER_SEC”的变量，以提高每秒的默认处理速率。这对我有用！