我试图从交通数据dashboard中提取“计数历史”表。
我在这里读了几本posts,但看来我发现的所有解决方案都不适用于我的案子。以下是我的尝试之一。
web=urllib.request.urlopen(url)
web_=web.read()
page_content=etree.HTML(web_)
row=page_content.xpath('//table[@id="reportTableCountHistoryTableWidget"]/tr')
print(row)
以上是我的代码。通常,在执行print(row)
时应该打印一些字节类型的信息,但是我只打印了一个空列表。我对xpath做错了吗?当我尝试使用pandas模块的方法时,它甚至找不到表。
此外,我注意到当我尝试使用request.get(url)
来将整个仪表板网页另存为html文件时,缺少了重要的数据(包括我要提取的表数据),但是当我手动将网页另存为html,一切都在那里。