无法获得所有元素

时间:2017-01-08 19:26:58

标签: javascript python selenium beautifulsoup

https://www.whoscored.com/Regions/252/Tournaments/2/Seasons/6335/Stages/13796/Fixtures/England-Premier-League-2016-2017

尝试使用“匹配报告”(//*[@id="tournament-fixture"]/tbody/tr[2]/td[7]/a[1])捕获每个项目的ID。我可以通过源代码访问可见的一个,但该站点使用Incapsula,所以我无法使用请求,我目前正在使用selenium。我想访问前几个月,当我按下后退按钮时,它会重新加载以前的灯具,但源代码不会更新。

有没有人知道要么在上个月使用selenium获取源代码(DataStore.prime),要么如何提交成功请求以收集此特定季节的所有灯具?

1 个答案:

答案 0 :(得分:0)

无需使用selenium,您可以通过Chrome Dev工具中的网址访问月份数据: enter image description here

https://www.whoscored.com/tournamentsfeed/13796/Fixtures/?d=201611&isAggregate=false

?d是年份+月份,而不是列表中的所有数据,第一个值为id,您可以通过Match Report获得id

https://www.whoscored.com/Matches/1080595/MatchReport
                                  ^^^^id^^