Question

提前抱歉我的英文）我有一个任务 - 为网站编写解析器，但他的所有页面都将输入的数据保存在HTML5本地存储中。它真的模仿点击页面上的图像并检索点击后保存到数据存储的所有变量值？例如，使用像jsdom（https://github.com/tmpvar/jsdom）这样的NodeJS +解析器？或者我可以使用一些替代技术吗？谢谢！

Answer 1

听起来你正试图解析一个包含大量javascript的网站。您可以使用phontom来模拟用户行为。考虑您要使用节点。然后你可以使用Node-Phontom来做到这一点。

var phantom=require('node-phantom');
phantom.create(function(err,ph) {
  return ph.createPage(function(err,page) {
    return page.open("you/url/", function(err,status) {
      console.log("opened site? ", status);
      page.includeJs('http://ajax.googleapis.com/ajax/libs/jquery/1.7.2/jquery.min.js', function(err) {
        //jQuery Loaded.
        //Settimeout to wait for a bit for AJAX call.
        setTimeout(function() {
          return page.evaluate(function() {
            //Get what you want from the page
            //e.g. localStorage.getItem('xxx');
        }, 5000);
      });
    });
  });
});

Here is phontom.

Here is node-phontom.

如何解析使用HTML5本地存储的页面？

1 个答案: