在页面更新时更改URL时刮取数据

时间:2018-03-20 19:01:15

标签: python web-scraping html-table beautifulsoup python-requests

我使用request和Beautiful Soup来解析HTML表。但是,每次更新表时URL都会更新,如果我将代码设置为该URL,则只会解析旧数据。如何将请求重定向到正确的URL,或者提取更新的标识符?

例如,这两个链接指向同一页面。

https://www.amazon.com/dp/B07BHF8PPB https://www.amazon.com/dp/B07BBFX5G2

要调用URL,我会让代码循环显示包含URL的Excel工作表,并将每个URL设置为变量" url"。

r = requests.get(url, headers=headers)
soup = BeautifulSoup(r.text, 'html.parser')

提前致谢!

0 个答案:

没有答案