网络抓取认证节点js

时间:2015-05-29 13:17:42

标签: node.js authentication web-scraping

这是我的代码,这是未经过身份验证的,并且做了所需的报废,任何人都知道这个错误在哪里,如果有人知道另一种方式并且可能举一个例子就是欣赏。这段代码是要废弃到需要的网站身份验证,我看不到链接将如何显示给我

process.env.NODE_TLS_REJECT_UNAUTHORIZED = '0';//

var request = require('request');
var cheerio = require('cheerio');


req = request.defaults({
jar: true,                 // Guardar las cookies hacia un jar

});
var credentials = {
username: 'user',
password: 'pass'
};

req.post({
    uri: 'http://www.website.com/',
    headers: { 'content-type': 'application/x-www-form-urlencoded' },
    body: require('querystring').stringify(credentials)
}, function(err, res, body){
if(err) {
console.log(err);
return;
}

req('http://www.website.com/info', function(err, res,       data) {
    if(err) {
        console.log(err);
        return;
    }

    var $ = cheerio.load(data);
    console.log($.html());



});

});

它只是未经过身份验证,因此会删除所需的

1 个答案:

答案 0 :(得分:0)

远程站点如何进行身份验证?您是否记得从身份验证调用中保存cookie,然后在需要身份验证的后续URL中传递cookie?