我网站的结构是:
article[1-6]link
我正在使用requests和BeautifulSoap模块获取 article_manager_soup = BeautifulSoup(article_manager_page,'lxml')
article_list = [article_manager_url + '/' + node.get('href') for node in article_manager_soup.find_all('a') if node.get('href')]
的链接:
article1link
但问题是,我只能在第一页上获得前两篇文章链接,即article2link
,{{1}}。当我点击下一页时,没有参数被更改,所以我不能使用url作为参考。我如何获得剩余的链接?