我正在通过scrapy抓取一个网站。在一堆请求之后，蜘蛛正在停止，这意味着没有分页。当我在浏览器中打开它时，它显示为Please close the browser and try again Or return to the home page and try again，但是当我在“资源”选项卡中检查元素并清除cookie时，我能够再次查看该页面...
如何使用蜘蛛清除饼干????我已将download_delay添加为4但仍然看到相同的问题
答案 0 :(得分：0)
尝试在settings.py文件中禁用Cookie。设置：
COOKIES_ENABLED = False