Question

我正在尝试从网站上抓取数据，但未返回任何内容。

我试图以多种方式提取它，但div id =“ app”中包含的数据却从未显示。

from bs4 import BeautifulSoup
from selenium import webdriver
driver = webdriver.Chrome()
driver.get('https://westgate-production-4cb87.firebaseapp.com/super-contests/weekly-card/embed')
res = driver.execute_script('return document.documentElement.outerHTML')
driver.quit()

soup = BeautifulSoup(res, "lxml")
print(soup)

当我打印汤时，它只显示div id =“ app”，而不显示div中的内容。我还尝试在汤中查找表格，表格行等，但它始终返回空白数据集。

我知道有很多与此类似的问题，但是似乎没有一个问题涵盖没有数据显示的情况。

感谢您可以提供的任何帮助！

Answer 1

应用程序需要花费一些时间才能完全加载页面。提供一些sleep（）来加载页面，然后使用driver.page_source来获取整个html内容。

from bs4 import BeautifulSoup
from selenium import webdriver
driver = webdriver.Chrome()
driver.get('https://westgate-production-4cb87.firebaseapp.com/super-contests/weekly-card/embed')
time.sleep(5)
res=driver.page_source
driver.quit()

soup = BeautifulSoup(res, "lxml")
print(soup)

美丽的汤无法从Div的网站上找到数据

1 个答案: