使用BeautifulSoup和Python抓取多个表页面

Question

http://www.indymini.com/p/mini-marathon/miniresults

我想废弃使用python BS4在此网址上提供的表格，但是当我更改表格大小或更改页面时，网址不会更改。

Answer 1

在表格中导航时，URL不会更改，因为该表似乎是使用javascript（特别是DataTables库）实现的 - 并使用AJAX来显示相关数据。

所以，基本上，我没有看到你可以使用BS4抓取页面并获取除页面加载时默认显示的数据以外的数据。

另一方面，当使用AJAX检索数据时，您可以尝试找出AJAX请求的格式（哪个参数根据您想要的结果做什么，例如使用Firebug）并检索数据通过调用提供数据表的AJAX URL直接以JSON格式。

但是，根据您对数据的预期用途，您可能需要考虑要求网站所有者下载和使用数据。并且，谁知道 - 他们可能愿意提供帮助。