有脚本结果时，如何用Web报废，Bs4？

Question

我正在尝试从该网站获取一些数据：

http://www.espn.com.br/futebol/resultados/_/liga/BRA.1/data/20181018

当我在浏览器上检查页面时，可以在HTML上看到所需的所有值。我想获取游戏结果和玩家名称（对于每个日期，在此示例中为2018-10-18）

在无比赛日，网站显示：

“ Sem jogos nesta数据”，在浏览器检查中很容易找到：

但是使用

时

url = 'http://www.espn.com.br/futebol/resultados/_/liga/todos/data/20181018'
page = requests.get(url, "lxml")

输出基本上是我找不到短语“ Sem jogos nesta data”的网站

如何获取包含脚本结果的HTML？可以要求吗？ urllib？

Answer 1

看起来您要查找的数据来自其后端API。我将使用selenium-python软件包而不是requests。

以下是示例：

driver = webdriver.Firefox()
driver.get("http://www.espn.com.br/futebol/resultados/_/liga/todos/data/20181018")
value = driver.find_elements(By.XPATH, '//*[@id="events"]/div')
drive.close()

我没有检查代码，但是它应该可以工作