刮板与随机选择器

时间:2019-07-01 19:37:45

标签: python selenium web-scraping beautifulsoup

我正在尝试从here抓取数据。我需要按照他们的日期对结果进行排序。但是当我仔细观察时,我发现它们没有通用选择器来选择具有相同日期的行。

我曾尝试在Selenium中使用bs4和xpath,但无法弄清任何内容。

是否存在使用硒或bs4进行此操作的任何方法。

1 个答案:

答案 0 :(得分:0)

我认为最简单的方法是使用soup.find('table', {'id' : 'tournamentTable'}获取每个页面上的整个表格。您将必须遍历每个页面,并使用熊猫df.merge()一起将所有数据在一起。完成此操作后,使用datetime将日期作为字符串转换为可以在python中排序的日期对象。