使用Python 3和BeautifulSoup 4转到下一页

Question

我正在尝试使用Python 3和BeautifulSoup 4从网站的多个页面上的表中解析数据。除了一些页面具有超出页面长度的表格外，一切都运行良好。该页面仅显示20个条目，要获取其他条目，需要单击表格底部的“下一个”以移至下一个表格数据继续的页面。 我尝试使用

nextPage = re.compile(b'Next</a>')

和

nextPageUrl = nextPage.findall(webContent)

我知道这不是BeautifulSoup。我试过这个因为我不知道如何使用BeutifulSoup这样做。但是，它不起作用。有人可以帮助我，并建议我如何让下一页的网址继续刮？感谢您提供的任何建议。

Answer 1

soup = BeautifulSoup(webContent)
a = soup.find('a', href=True, text=re.compile("Next"))
if a:
    link = a["href"]