尽管我传递给它的网址不同,但Python中的requests模块却为我提供了相同的页面

时间:2019-03-20 08:37:44

标签: web-scraping python-requests

嗨!

有人可以告诉我为什么将requests.get(url)与不同的URL一起使用时,我得到的是同一页面。故事是: 我正在抓取网页以按品牌查看产品。因此,我根据页面中的品牌列表生成了url(我使用xpath来获取它们)。 对于其他页面,它可以工作,但是对于这一页面则无效。 所以我徘徊也许有某种保护免遭刮擦页面?就像我将这些生成的url粘贴到chrome中一样,它为我提供了我需要的特定品牌产品的页面。但是,使用requests.get时,我将显示在同一页面上。 另外-也许您可以共享-易于掌握的信息,请求如何工作?它如何到达页面源?

感谢贡献者!

0 个答案:

没有答案