Scrapy:尽管设置,浏览器仍不接受Cookie

时间:2018-11-05 01:04:03

标签: cookies scrapy

此刮板工作正常。我只想获取此页面上项目的标题。

walmart scraper

在刮y的外壳中,使用view(response)函数将显示一个网页,其中显示“您的Web浏览器不接受Cookie”。甚至在我将USER_AGENT信息添加到启动外壳的情况下。

"Your web browser is not accepting cookies."

结果,刮板无法刮刮任何信息。我已经改变的事情:

COOKIES_ENABLED = True
COOKIES_DEBUG = True
ROBOTSTXT_OBEY = False
USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36'
DOWNLOADER_MIDDLEWARES = {'walmartscraper.middlewares.WalmartscraperDownloaderMiddleware': 543,}

我觉得我需要在中间件部分添加/更改某些内容(它仍然是默认代码)和/或在某个地方实现请求。这是我第一次在抓取时使用Cookie,发现的信息并没有帮助我解决这个问题。

非常感谢任何建议。谢谢。

0 个答案:

没有答案