爬网完成后Scrapy重新启动爬虫

Question

当我的Scrapy抓取工具完成后，我想再次自动启动同一个抓取工具。 这可以通过Scrapy功能完成，还是必须使用Cronjob，例如的crontab？

Answer 1

只是正常的Scrapy运行无法执行此操作，除非您禁用欺骗过滤器并在下载页面时重新请求同一页面。这是一个hacky解决方案，但从技术上讲它会起作用。

Cronjob或在循环中运行的Bash脚本可以解决问题。