此刮板工作正常。我只想获取此页面上项目的标题。
在刮y的外壳中,使用view(response)函数将显示一个网页,其中显示“您的Web浏览器不接受Cookie”。甚至在我将USER_AGENT信息添加到启动外壳的情况下。
"Your web browser is not accepting cookies."
结果,刮板无法刮刮任何信息。我已经改变的事情:
COOKIES_ENABLED = True
COOKIES_DEBUG = True
ROBOTSTXT_OBEY = False
USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36'
DOWNLOADER_MIDDLEWARES = {'walmartscraper.middlewares.WalmartscraperDownloaderMiddleware': 543,}
我觉得我需要在中间件部分添加/更改某些内容(它仍然是默认代码)和/或在某个地方实现请求。这是我第一次在抓取时使用Cookie,发现的信息并没有帮助我解决这个问题。
非常感谢任何建议。谢谢。