我使用scrapy抓取网页,问题是蜘蛛抓取网址,但每个网址的数据都是以随机语言返回的(en,pt,it,es ...)。 / p>
我正在使用设置:
USER_AGENT = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36"
DEFAULT_REQUEST_HEADERS = {
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
'Accept-Language': 'en',
}
为什么不用英文返回页面? (网页有英文选项)。