Question

我必须使用App Engine批量加载程序上传大量实体（800k）。一切都已建立，事情进展顺利，除了我得到一个导致这种情况发生的神秘错误：

[WorkerThread-0] Backing off due to errors: 1.0 seconds
[WorkerThread-0] Backing off due to errors: 2.0 seconds
[WorkerThread-0] Backing off due to errors: 4.0 seconds
[WorkerThread-0] Backing off due to errors: 8.0 seconds

这很好，直到我让它全天运行：

[WorkerThread-0] Backing off due to errors: 2048.0 seconds
[WorkerThread-0] Backing off due to errors: 4096.0 seconds

如何禁用此功能？它使我的上传永远。从字面上看，每千个实体就会发生这种情况，所以我可以等待2^sum(1 to 800)秒。这显然不太理想。

我不知道错误是什么，除了它说我有“错误”，但如果我每小时停止并恢复它，似乎上传就好了。

Answer 1

我修改了google_appengine/google/appengine/tools/adaptive_thread_pool.py以忽略self.__backing_off变量。具体来说，我在第426行将其重置为1.0。

Google多么荒谬的设计......

App Engine Bulkloader如何禁用“由于错误而退回”

1 个答案: