Scrapy响应是与请求和转发网址不同的语言

Question

我试图从此页面中搜索搜索结果

http://eur-lex.europa.eu/search.html?qid=1437402891621&DB_TYPE_OF_ACT=advGeneral&CASE_LAW_SUMMARY=false&DTS_DOM=EU_LAW&typeOfActStatus=ADV_GENERAL&type=advanced&lang=fr&SUBDOM_INIT=EU_CASE_LAW&DTS_SUBDOM=EU_CASE_LAW

根据网址的语言是法语，这就是我在scrapy shell中看到的，跟随＆＃39;爬行（200）＆＃39;

如果我尝试response.url我也会得到一个带有lang = fr。

的网址

在浏览器中查看页面会显示法语结果。

然而，回复的主体是英文。

我已尝试在scrapy settings.py文件中禁用Cookie。 我还将DEFAULT_REQUEST HEADERS设置为＆＃39; Accept-Language＆＃39;：＆＃39; fr＆＃39;。

有什么想法吗？

Answer 1

在网页的右上角有一个下拉字段，用于选择网站的语言。选择french会在网址中添加另一个参数：&locale=fr。

所以 - 将该参数添加到start_url。