等待硒中的每个元素

时间:2020-06-14 18:11:00

标签: python html selenium web-scraping

我想使用Selenium以及Explicit的'waiter'和'XPATH'类从网站中检索每个 div class ='abcd'元素。 源代码是这样的:

<div class='abcd'>
   <a> Something </a>
</div>
<div class='abcd'>
   <a> Something else </a>
...

当我运行以下代码(Python)时,结果仅是“东西”。我想遍历出现在网站源代码中的每个 div class ='abcd'实例。

from explicit import waiter, XPATH
from selenium import webdriver
driver = webdriver.Chrome(PATH)
result = waiter.find_element(driver, "//div[@class='abcd']/a", by=XPATH).text

很抱歉,如果说的不是太技术性,我只是从网络抓取开始。谢谢

1 个答案:

答案 0 :(得分:0)

我曾经这样使用。如果您喜欢此过程,也可以使用。

from selenium import webdriver
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions
from selenium.webdriver.common.by import By

driver = webdriver.Chrome(PATH)

css_selector = "div.abcd"
results = WebDriverWait(driver, 10).until((expected_conditions.presence_of_all_elements_located((By.CSS_SELECTOR, css_selector))))

for result in results:
    print(result.text)