适用于Redfin的Python Selenium Webscraper

Question

我正在尝试为Redfin构建网络刮板。我注意到，对于Redfin估计，该类名称称为“ statsValue”。但是这个名字存在于5个地方，因此考虑到这个，我在想：

类名“ info-block avm”仅存在一个，我认为我可以用它来获取statsValue，因为它似乎是其父类。

我完全不熟悉网络抓捕和硒。这是我的代码：

from selenium import webdriver
from selenium.webdriver.remote import webelement
import pandas as pd
import time

driver = webdriver.Chrome('chromedriver.exe')
driver.get('https://www.redfin.com/')
time.sleep(2)
search_box = driver.find_element_by_name('searchInputBox')
search_box.send_keys('693 Bluebird Canyon Drive, Laguna Beach, CA 92651')
search_box.submit()

time.sleep(2)
# element = driver.find_elements_by_class_name('statsValue')
# print(element[0].get_attribute('innerHTML'))
element = driver.find_element_by_class_name('info-block avm')


driver.quit()

我遇到的问题是，当我找到'info-block avm'时，如何在发布的图片中返回其下面的值？

Answer 1

下面的示例如何获取价格。有关如何使用选择器的信息，您可以在以下链接css和xpath中找到。

1. price = driver.find_element_by_css_selector('.info-block.avm .statsValue').text
2. price = driver.find_element_by_css_selector('.avm .statsValue').text
3. element = driver.find_element_by_class_name('avm')
price = price.find_element_by_class_name('statsValue').text

最佳做法是使用Explicit或Implicit等待而不是time.sleep()。