如何获取由分页分隔的目录中的所有链接

时间:2017-11-18 11:23:34

标签: python beautifulsoup python-requests

我网站的结构是:

article[1-6]link

我正在使用requests和BeautifulSoap模块获取 article_manager_soup = BeautifulSoup(article_manager_page,'lxml') article_list = [article_manager_url + '/' + node.get('href') for node in article_manager_soup.find_all('a') if node.get('href')] 的链接:

article1link

但问题是,我只能在第一页上获得前两篇文章链接,即article2link,{{1}}。当我点击下一页时,没有参数被更改,所以我不能使用url作为参考。我如何获得剩余的链接?

0 个答案:

没有答案