如何使用Selenium Webdriver和Python抓取所有搜索结果

Question

我正在尝试从此网站https://brokercheck.finra.org/search/genericsearch/list的搜索结果中抓取所有CRD＃。

（点击链接时，您需要重做搜索，只需为Individual搜索输入一些随机内容即可）

我正在使用driver.find_elements_by_xpath定位每个结果页面上的所有CRD号。但是，我已经尝试了一段时间，但是Webdriver仍然无法从站点获取CRD。

我目前（在Python中）

crds = driver.find_elements_by_xpath("//md-list-item/div/div/div/div/div/bc-bio-geo-section/div/div/div/div/div/span")

但是结果始终为空。

Answer 1

尝试像这样使用 .find_elements_by_css_selector ：

crds = driver.find_elements_by_css_selector("span[ng-bind-html='vm.item.id']")

Answer 2

要使用https://brokercheck.finra.org/search/genericsearch/grid从网站Selenium中的搜索结果中打印所有CRD#，您必须为visibility_of_all_elements_located()引入 WebDriverWait ，并您可以使用以下任一Locator Strategies：

• 使用CSS_SELECTOR和get_attribute()：

  print([my_elem.get_attribute("innerHTML") for my_elem in WebDriverWait(driver, 10).until(EC.visibility_of_all_elements_located((By.CSS_SELECTOR, "span.ng-binding[ng-bind-html='vm.item.id']")))])
  

• 使用 XPATH 和 text ：

  print([my_elem.text for my_elem in WebDriverWait(driver, 10).until(EC.visibility_of_all_elements_located((By.XPATH, "//span[starts-with(., 'CRD')]//following-sibling::span[1]")))])
  

• 注意：您必须添加以下导入：

  from selenium.webdriver.support.ui import WebDriverWait
  from selenium.webdriver.common.by import By
  from selenium.webdriver.support import expected_conditions as EC