App引擎mapreduce的工作让我超过了配额

时间:2012-04-01 04:40:05

标签: google-app-engine mapreduce

对于我的第一个mapreduce项目,使用Google App Engine,Python版本,我实现了一个简单的计数器:

def process(entity):
    yield op.counters.Increment("counter1")

在跑步的中途,我超过了配额。当我的配额明天重置时,它会在它停止的地方上升,并最终产生最终结果,还是我需要足够的配额执行整个任务,而不会以这种方式中断?

这只是练习。对于我的“真实”mapreduce作业,我将修改数据库表中的每个条目。有什么好方法可以保存我的表格数据,以防出现问题吗?

提前致谢。

1 个答案:

答案 0 :(得分:2)

Mapreduce计数器存储在数据存储区中,因此即使您在较长时间内暂停mapreduce,它们也会一直存在。

同样,mapreduce中的修改是定期分批执行的;您所做的更改会或多或少立即应用。