Question

我正在尝试使用Scrapy下载我的Quora答案，但我似乎无法下载我的页面。使用简单的

[1] "1 0:00:00"

[1] "0 13:20:00"

[1] "115 17:46:40"

返回此错误

scrapy shell 'http://it.quora.com/profile/Ferdinando-Randisi'

怎么了？错误429与太多请求相关联，但我只做一个请求。为什么会这么多？

Answer 1

它根据用户代理字符串阻止Scrapy。尝试模仿，例如铬：

scrapy shell "http://it.quora.com/profile/Ferdinando-Randisi" -s USER_AGENT="Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/28.0.1500.52 Safari/537.36"

如何使用Scrapy下载我的所有Quora答案？

1 个答案: