Scrapinghub工作失败 - 无法诊断

Question

蜘蛛在爬行过程中停止（7小时后，20K请求）。工作状态为“失败”。即使日志中没有ERROR消息。日志看起来就像代码在特定代码行范围内停止运行而没有报告任何错误。它发生在spider_idle方法覆盖中。日志已启用，我可以看到所有前面的INFO消息表明蜘蛛正常运行。我不知道如何在scrapinghub日志中启用DEBUG消息。

检查内存消耗 - 它是稳定的，至少在短期测试中，现在正在等待长期运行结果。

如何在作业“失败”后检索更多信息？

Answer 1

免费帐户24小时内自动停止作业。状态为“已取消”，在这种情况下，日志通常显示为SIGTERM。