Question

我正在使用请求和cheerio创建一个用javascript编写的网络抓取程序。我正在尝试提取的网页包含html中的javascript。这是我感兴趣的JavaScript，但无法找到访问它的方法。有没有办法提取javascript，使用cheerio？

非常感谢任何建议，我刚刚开始使用网页抓取。

我的代码是：

var request = require('request');
var cheerio = require('cheerio');

var credentials = {
    username: 'username',
    password: 'password'
};

request.post({
    uri: 'http://webpage',
    headers: { 'content-type': 'application/x-www-form-urlencoded' },
    body: require('querystring').stringify(credentials)
}, function(err, res, body){
if(err) {
    callback.call(null, new Error('Login failed'));
    return;
}

request('http://webpage', function(err, res, body)
{
    if(err) {
        callback.call(null, new
            Error('Request failed'));
        return;
    }

    var $ = cheerio.load(body);
    var text = $('#element').text();
    console.log($.html());

}); 

});

Answer 1

如果您正在网页中查找javascript，可以使用cheerio从html中收集所有<script>标记，然后从中获取内容。

var scripts = [];

request('http://webpage', function(err, res, body)
{
  if(err) {
    callback.call(null, new Error('Request failed'));
    return;
  }

  var $ = cheerio.load(body);
  $('script').each(function(i, element) {
    scripts[i] = $(element).text();
  }   
});

现在，您将拥有一个包含HTML中所有可用JavaScript的数组。现在，如果他们是导入javascript，那么你将不会得到任何内容。您可以搜索该元素是否包含src网址。

...

$('script').each(function(i, element) {
  if ($(element).attr('src') === undefined) {
    scripts[i] = $(element).text();
  }
  else {
    // Collect or ignore this.
  }
}

...

我没有对此进行测试，但它应该基于cheerio的文档。

https://github.com/cheeriojs/cheerio

如何从html中提取javascript

1 个答案: