屏幕抓取JS页面

时间:2013-07-03 12:47:42

标签: php parsing dom

我正试图抓住这个页面http://www.buddytv.com/trivia/game-of-thrones-trivia.aspx并且它无效。

我试过

$html = new simple_html_dom();
  $html->load_file($url);

但对于我想要抓住的问题(.trivia-question)无法找到。谁能告诉我我做错了什么?

非常感谢!

我试过

  <?php
  $Page = file_get_contents('http://www.buddytv.com/trivia/game-of-thrones-trivia.aspx');
  $dom_document = new DOMDocument();
  //errors suppress because it is throwing errors due to mismatched html tags
  @$dom_document->loadHTML($Page);
  $dom_xpath_admin = new DOMXpath($dom_document_admin);
  $elements = $dom_xpath->query('//*[@id="id60questionText"]');
  var_dump($elements);

1 个答案:

答案 0 :(得分:5)

好的,这是phantomjs的例子:

您需要从http://phantomjs.org/下载phantomjs,放在可以通过脚本轻松访问的地方。

通过运行{installationdir} / bin / phantomjs(windows上的phantomjs.exe)来测试它--version

然后在项目的某处创建JS文件,ex browser.js

var page = require('webpage').create();

page.open('http://www.buddytv.com/trivia/game-of-thrones-trivia.aspx', function() {

page.includeJs("http://ajax.googleapis.com/ajax/libs/jquery/1.6.1/jquery.min.js", function() {

    search = page.evaluate(function() { 
        return  $('#id60questionText').text();
    });

    console.log(search);

    phantom.exit()
  });
})

然后在PHP脚本中读取它:

$pathToPhatomJs = '/home/aurimas/Downloads/phantomjs/phantomjs-1.9.1-linux-x86_64/bin/phantomjs';

$pathToJsScript = '/home/aurimas/Downloads/phantomjs/phantomjs-1.9.1-linux-x86_64/browser.js';

$stdOut = exec(sprintf('%s %s', $pathToPhatomJs,  $pathToJsScript), $out);

echo $stdOut;

根据您的配置更改$pathToPhatomJs$pathToJsScript

如果您在Windows上,这可能无效。然后,您可以将PHP脚本更改为:

$pathToPhatomJs = '/home/aurimas/Downloads/phantomjs/phantomjs-1.9.1-linux-x86_64/bin/phantomjs';

$pathToJsScript = '/home/aurimas/Downloads/phantomjs/phantomjs-1.9.1-linux-x86_64/browser.js';

exec(sprintf('%s %s > phatom.txt', $pathToPhatomJs,  $pathToJsScript), $out);

$fileContents = file_get_contents('phatom.txt');

echo $fileContents;