Selenium和Goodreads的分页

Question

我正在尝试从Goodreads中提取信息。问题是如果我进入如下的网址：

  

https://www.goodreads.com/shelf/show/programming?page=2

使用Selenium chrome webdriver或BeautifulSoup，它仍显示第一页，而不是第二页。
chrome webdriver示例：

在普通浏览器上，它会显示这些书籍：

Answer 1

看起来发生这种情况是因为您未在硒会话中登录，您必须在重新启动之间登录并保存Cookie。

查看this stackoverflow答案，了解如何提取Cookie。