对于我的第一个mapreduce项目,使用Google App Engine,Python版本,我实现了一个简单的计数器:
def process(entity):
yield op.counters.Increment("counter1")
在跑步的中途,我超过了配额。当我的配额明天重置时,它会在它停止的地方上升,并最终产生最终结果,还是我需要足够的配额执行整个任务,而不会以这种方式中断?
这只是练习。对于我的“真实”mapreduce作业,我将修改数据库表中的每个条目。有什么好方法可以保存我的表格数据,以防出现问题吗?
提前致谢。
答案 0 :(得分:2)
Mapreduce计数器存储在数据存储区中,因此即使您在较长时间内暂停mapreduce,它们也会一直存在。
同样,mapreduce中的修改是定期分批执行的;您所做的更改会或多或少立即应用。