嗨!
有人可以告诉我为什么将requests.get(url)
与不同的URL一起使用时,我得到的是同一页面。故事是:
我正在抓取网页以按品牌查看产品。因此,我根据页面中的品牌列表生成了url(我使用xpath
来获取它们)。
对于其他页面,它可以工作,但是对于这一页面则无效。
所以我徘徊也许有某种保护免遭刮擦页面?就像我将这些生成的url粘贴到chrome中一样,它为我提供了我需要的特定品牌产品的页面。但是,使用requests.get
时,我将显示在同一页面上。
另外-也许您可以共享-易于掌握的信息,请求如何工作?它如何到达页面源?
感谢贡献者!