Question

我想编写一个代码，让Python在页面上抓取一些数据，然后点击＆＃34; next＆＃34;页面底部的按钮，在第二页上刮取一些数据，点击＆＃34;下一步＆＃34;按钮等，直到最后一页，点击＆＃34;下一步＆＃34;不再可能（因为没有＆＃34;下一个＆＃34;）。

我想尽可能使代码尽可能通用，而不是事先指定要完成的点击次数。关注这个问题（How can I make Selenium click through a variable number of "next" buttons?），我有以下代码。 Python不报告任何错误，但程序在第一次迭代后停止（在第一次单击＆＃34; next＆＃34;之后）。

我在这里缺少什么？非常感谢！

driver = webdriver.Firefox()
driver.get("http://www.mywebsite_example.com")
try:
    wait = WebDriverWait(driver, 100)
    wait.until(EC.element_to_be_clickable((By.CLASS_NAME,'reviews_pagination_link_nav')))    
    driver.find_element_by_class_name("reviews_pagination_link_nav").click()

    wait.until(EC.element_to_be_clickable((By.CLASS_NAME, 'reviews_pagination_link_nav')))
    while EC.element_to_be_clickable((By.CLASS_NAME,'reviews_pagination_link_nav')):
      driver.find_element_by_class_name("reviews_pagination_link_nav").click()
      if not driver.find_element_by_class_name("reviews_pagination_link_nav"):
        break
      wait.until(EC.element_to_be_clickable((By.CLASS_NAME, 'reviews_pagination_link_nav')))

finally:
    driver.quit()

Answer 1

我会创建一个无休止的while True循环并在抛出TimeoutException时将其分解 - 这意味着没有页面可以留下：

wait = WebDriverWait(driver, 10)
while True:
    # grab the data

    # click next link
    try:
        element = wait.until(EC.element_to_be_clickable((By.CLASS_NAME, 'reviews_pagination_link_nav')))
        element.click()
    except TimeoutException:
        break

为此，您需要确保在点击最后一页后，class="reviews_pagination_link_nav"元素不在页面上或不可点击。

如何让Selenium点击＆＃34; Next＆＃34;按钮，直到它不再可能？

1 个答案: