如何单击按钮并获取python-selenium的新页面源？

Question

我希望点击next按钮直到结束并抓取页面的所有来源。我的代码如下：

from selenium import webdriver  
from selenium.common import exceptions  
from selenium.webdriver.common.keys import Keys
import time

browser = webdriver.Firefox()  
browser.get('https://s.taobao.com/search?q=%E5%8F%A3%E7%BD%A9+%E9%9D%A2%E7%BA%B1')  
sources = []
for i in range(100):
    sources.append(browser.page_source)
    browser.find_element_by_css_selector("li.item.next > a.J_Ajax.num.icon-tag").click()
time.sleep(8)
browser.quit()

但所有来源都来自第一页，当我已经在每页等待8秒时，我看到图像已完成加载。你能告诉我是什么原因，我该如何解决？谢谢！

Answer 1

我认为页面上显示的搜索结果是AJAX，因此您无法在HTML源代码中看到它们，因为AJAX是动态的并且只存储在内存中。

您可以通过查找DOM中的元素来访问数据，例如使用CSS定位器。