根据Python中的xpath在线从表中提取数据

时间:2019-03-05 20:30:11

标签: python html xpath

我试图从交通数据dashboard中提取“计数历史”表。

我在这里读了几本posts,但看来我发现的所有解决方案都不适用于我的案子。以下是我的尝试之一。

web=urllib.request.urlopen(url)
web_=web.read()
page_content=etree.HTML(web_)
row=page_content.xpath('//table[@id="reportTableCountHistoryTableWidget"]/tr') 
print(row)

以上是我的代码。通常,在执行print(row)时应该打印一些字节类型的信息,但是我只打印了一个空列表。我对xpath做错了吗?当我尝试使用pandas模块的方法时,它甚至找不到表。

此外,我注意到当我尝试使用request.get(url)来将整个仪表板网页另存为html文件时,缺少了重要的数据(包括我要提取的表数据),但是当我手动将网页另存为html,一切都在那里。

0 个答案:

没有答案