使用Python和Selenium进行Web抓取，不知道如何获取动态数据

Question

我正在尝试从表中获取值，但它们不在HTML中。但是，当我在浏览器中检查它们时，它们在HTML中。我猜他们是动态生成的，但我如何在Selenium中捕获它们或以其他方式捕获它们？

Answer 1

你可以这样做

from selenium import webdriver
import pandas as pd
import time

driver = webdriver.Chrome()
driver.get('https://www.predictit.org/Contract/7422/Will-Trump-veto-Russian-sanctions-bill-by-August-31#prices')

time.sleep(2)
tables = pd.read_html(driver.page_source) # returns list of dataframes
print(len(tables))
print(tables[2]) # this is table with YES
print(tables[3]) # this is the table with NO

此代码仅提取表格，但您需要进行一些清理。您可以阅读pandas.DataFrame

的文档