使用网络爬虫从异步功能调用的网站上获取数据

Question

我向此网站发送了GET请求，并获取了HTML正文：

https://www.itftennis.com/juniors/tournaments/tournament/info.aspx?tournamentid=1100042329

如果单击“结果”，则可以单击其他类别并获取不同的播放器和数据。

但是，数据实际上不在此html主体中，而是从功能ajaxLoadTourResults加载的。无论如何，有没有使用HTTP请求来获取此数据的信息？是否没有对eventId之类的值进行硬编码？

Answer 1

您可以使用Puppeteer的跟踪方法来实现这一点，看看：

https://github.com/GoogleChrome/puppeteer/blob/master/docs/api.md#class-tracing