Scrapy Accept-Language无效

时间:2016-09-14 18:52:34

标签: python scrapy web-crawler user-agent

我使用scrapy抓取网页,问题是蜘蛛抓取网址,但每个网址的数据都是以随机语言返回的(en,pt,it,es ...)。 / p>

我正在使用设置:

USER_AGENT = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36"

DEFAULT_REQUEST_HEADERS = {
   'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
   'Accept-Language': 'en',
}

为什么不用英文返回页面? (网页有英文选项)。

0 个答案:

没有答案