python scrappy football data

时间:2019-02-26 20:42:59

标签: python css

我正在尝试学习如何在Python中使用scrappy;我对CSS不熟悉

我要删除的网站:https://fantasydata.com/nfl-stats/point-spreads-and-odds?season=2018&seasontype=1&week=17

所以当我复制日期选择器时,结果如下:

stats_grid> div.k-grid-content.k-auto-scrollable> table> tbody> tr:nth-​​child(1)> td:nth-​​child(1)> span

当我通过以下方式打开scrappy模块时:python shell“ url”

然后输入response.css('selector here')

我没有结果!

如何检索日期信息?

感谢您阅读此消息!

1 个答案:

答案 0 :(得分:0)

所以这里的问题是,当scrappy收到页面响应时,您要抓取的数据不可用。

如果在页面加载时打开浏览器的开发人员控制台,请在“网络”标签上签出对该URL的XHR请求:

https://fantasydata.com/NFLTeamStats/Odds_Read

如果检出其有效负载,您将看到它完全包含您要抓取的数据。换句话说,它是通过HTTP提取 AFTER 从站点的应用程序加载的,初始页面已加载。

因此,当您使用webscaper(如scrappy)时,将无法看到此类数据。您实际上只获得了初始页面模板,之后javascript加载的所有内容都不可用。

如果您要查找与NFL和幻想相关的常规统计信息,则有一个名为FFDB的应用程序,可让您使用其引擎轻松创建数据库:

FFDB Github Repository

免责声明:我是该应用的作者。

最后,请注意,css标记与该问题无关。使用scrapingwebscrape标签会更合适。

祝你好运!