在抓取页面之前等待JS执行

Question

我正在尝试使用hQuery抓取以下页面：http://www.oddsportal.com/search/Paris+SG/soccer/

我意识到使用JS包含每个游戏的几率（之前，它只是-）。有什么办法可以在javascript执行后获取页面，还是应该找到另一个网站？

Answer 1

我的猜测是你必须使用另一个浏览器（而不是hQuery）并查看代码并查看是否有任何可以发现的事件。

Answer 2

You cannot using PHP

Scraping a site gives you whatever the server responds with to the HTTP request that you make (from which the "initial" state of the DOM tree is derived, if that content is HTML). It cannot take into account the "current" state of the DOM after it has been modified by Javascript.

You can using other powerful tools like selenium

Answer 3

你需要PhantomJs PHP包装器，因为它易于使用并提供更多控制和功能，请在此处查看我的答案

Scraping a dynamically loading website with php curl

希望有所帮助