删除刮y的作业后再删除它会发生什么

时间:2019-06-10 15:58:19

标签: python scrapy

在Scrapy Cloud中,job可以是deleted。首先,它的状态将改变,但是数据将可用-项目数据job.metadataitems.stats。 删除的过程特别如何?多久将清除所有数据?

1 个答案:

答案 0 :(得分:2)

Scrapy Cloud中的作业删除是一个异步过程:首先,将作业标记为已删除并保留所有可用数据,然后在7天后使用服务器定时作业在服务器端将其清除。通过这种方式实现了最后一次机会来恢复被误删除的作业或保存一些重要数据。

此外,上下文中的清除仅与作业数据(请求/项目/日志/样本)有关,而作业元数据和统计信息目前不确定地存储(尽管您不应该依赖该数据,但可以在任何给定的时刻)。