屏幕scape node.js与身份验证

时间:2015-10-31 21:19:17

标签: javascript node.js authentication screen-scraping

我试图在node.js中使用身份验证筛选scape网站,但是当我尝试提交表单时,我得到了这个:

"您的浏览器"对于其他人"不支持我们的网站。"

用户名已设置,但密码似乎为空。

即时通讯使用请求节点模块。

我的代码:

router.get('/scrape', function(req, respond){

    var credentials = {
        username: 'kevin',
        password: 'secret'
    };

    request.post({
        uri: my site url here,
        headers: { 'content-type': 'application/x-www-form-urlencoded' },
        body: require('querystring').stringify(credentials)
    }, function(err, res, body){
        if(err) {
            respond.end(err);
        }

        respond.send(body);

    });


});

1 个答案:

答案 0 :(得分:1)

您可能需要指定User-Agent标头,例如:

var credentials = {
    username: 'kevin',
    password: 'secret'
};

request.post({
    uri: my site url here,
    headers: { 
       'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2490.71 Safari/537.36'
    },
    form:credentials
}, function(err, res, body){
    if(err) {
        respond.end(err);
    }

    respond.send(body);
});