如何使用Simple HTML DOM php抓取页面？

Question

我正在从this page收集数据。我正在使用Simple HTML DOM解析器。我想从下一页收集数据。问题是下一页没有新链接，所以我无法遍历链接。我想这是通过Javascript完成的。如何进入下一页并从那里收集数据？

    `// array to store scraped links
    $links = array();  
    // crawl the webpage for links
    foreach($html->find("a") as $link){
        array_push($links, $link->href);
    }`  

使用上面的代码我只找到页面上的链接。但页码1,2,3 ...没有链接。

Answer 1

您是否曾尝试使用PhantomJS / CasperJS执行此任务？它们非常适合模拟用户请求和抓取网页。