MapReduce作业永远运行

时间:2012-07-16 15:10:14

标签: google-app-engine google-cloud-storage

我正在使用Michael Manoochehri的示例(http://stackoverflow.com/a/10969900/1387380)使用Pipeline和Mapreduce API将数据从DataStore导出到Google云端存储,但我的作业永远在运行,永远不会完成。我有一些工作在过去7天内运行,我甚至无法从MapperPipeline控制台界面停止。

如何手动或以编程方式停止它们?

1 个答案:

答案 0 :(得分:1)

我认为这种行为是由于当前版本的App Engine MapReduce lib处理云存储输出编写器错误的错误。如果发生这种情况,如上所述,请查看GAE日志以获取涉及云存储的许可或API错误(或您当前使用的任何输出编写器)。

我们下一次重复使用库时应该有所改进,但是目前如果出现这样的问题,快速解决方法是清除任务队列,纠正导致错误的问题,并重新启动管道。