发送带有片段标识符的URL时,是否可以通过请求获得适当的响应?

时间:2018-11-06 13:40:41

标签: python web-scraping python-requests

我正在使用Python中的requests模块在​​this website上获取每个国家/地区的数据,但是,虽然对网址的请求获得了正确的结果,但对每个国家/地区的URL的要求也使我同一页面,而不是得到我针对特定国家/地区的结果。

  

整个网址

     

http://reports.weforum.org/global-gender-gap-report-2017/dataexplorer/

     

国家/地区专用网址

     

http://reports.weforum.org/global-gender-gap-report-2017/dataexplorer/#economy=ISL

我发现在客户端发送请求时,服务器端会忽略URL片段,因此响应不符合每个特定的URL听起来很自然。

但是,在这种情况下,是否仍然可以使用Python中的requests(和bs4)模块来获取每个特定URL的响应?我敢肯定可以通过selenium进行访问,但出于简单起见仍希望使用requests

0 个答案:

没有答案