无法从网络表中抓取 Covid-19 数据

时间:2021-03-18 22:33:00

标签: python web

我正在使用 Python 对 Covid-19 在科索沃的传播进行一些研究。 问题是从桌子上的网络抓取得到的结果是空的。 网络是 https://corona-ks.info/?lang=en 我需要记录的表:

enter image description here

我用了很多方法来提取记录但都没有成功,最新使用的代码仅用于标题:

import requests 
import pandas as pd
from bs4 import BeautifulSoup

link = 'https://corona-ks.info/?lang=en'
# get web data
req = requests.get(link)
# parse web data
soup = BeautifulSoup(req.content, "html.parser")
th = soup.find_all('th')
table = soup.find('table')

headings = []
for item in th: 
    item = (item.text).rstrip("\n")
    headings.append(item)
print(headings)

结果:

['', '', '', '', '']

表格也有相同的空列表。

1 个答案:

答案 0 :(得分:0)

如果您使用 Telerik Fiddler Web Debugger 并查看查看此 https://corona-ks.info/?lang=en 时发出的调用,您会看到它发出调用以从 https://raw.githubusercontent.com/bgeVam/Kosovo-Coronatracker-Data/master/data.json 获取 JSON 数据以填充表。与其尝试刮桌子,不如使用 corona-ks.info 正在使用的相同 JSON?

此外,除了我上面提到的数据源之外,我还看到了其他几个它也在使用的数据源: