标签: web web-scraping beautifulsoup
我在抓取时遇到了问题,因为代理更改了其网站。而当我做
page = driver.get(link) page = driver.page_source page = BeautifulSoup(page, "html.parser")
我要获取的链接不起作用(服务器错误)。该链接是新的,可以获取,但是使用它时出现错误。
我可以通过其他方式(按类别和获取href)输入此链接,但是以这种方式page = driver.get(link)不起作用。
在这种情况下我该怎么办?