网页抓取,漂亮的汤和链接无效

时间:2020-06-20 10:59:04

标签: web web-scraping beautifulsoup

我在抓取时遇到了问题,因为代理更改了其网站。而当我做

page = driver.get(link)
page = driver.page_source
page = BeautifulSoup(page, "html.parser")

我要获取的链接不起作用(服务器错误)。该链接是新的,可以获取,但是使用它时出现错误。

我可以通过其他方式(按类别和获取href)输入此链接,但是以这种方式page = driver.get(link)不起作用。

在这种情况下我该怎么办?

0 个答案:

没有答案