Question

我有一个具有类似DOM结构的页面列表。

我试图在for循环中通过python selenium对其进行爬网，但始终会获得首页信息。

我的代码如下：

for url in urls:
    driver.get(url)
    wait = WebDriverWait(driver, wait)
    // always get name in first page
    name = wait.until(EC.visibility_of_element_located((By.CSS_SELECTOR, '.company-name')))

我该如何解决？

Answer 1

感谢您的帮助。终于解决了我的问题！

只需等待url更改，然后我将代码修改如下：

for new_url in urls:
    current_url = driver.current_url
    driver.get(new_url)
    wait = WebDriverWait(driver, wait)
    // wait until url change
    WebDriverWait(driver, wait).until(EC.url_changes(current_url))
    // get new name
    name = wait.until(EC.visibility_of_element_located((By.CSS_SELECTOR, '.company-name')))

Python Selenium在for循环中获取页面

1 个答案: