如何在Node.js中模拟POST请求后访问响应Body?

时间:2015-06-19 16:22:28

标签: node.js web-scraping http-post reddit

我已经尝试了很长时间了。 我想从包含成人内容的subreddit中删除内容。 但是,问题在于,在您获得访问该页面之前,您必须回答一个简单的问题,即如果您是18岁以上。 我对源代码做了一些研究,发现解决方案是一个简单的POST请求。你需要发送参数的地方" over18 = yes"。 但我的问题是,我无法在帖子后访问响应正文。

这里是在节点中使用http请求的代码。我甚至尝试过节点" request"模块,但也没有任何帮助。

希望找到能帮助我的人。

var http = require("http");


var options = {
  host: 'www.reddit.com',
  port: 80,
  path: '/over18?dest=http%3A%2F%2Fwww.reddit.com%2Fr%2Fnsfw&over18=yes',
  method: 'POST'
};

var req = http.request(options, function(res) {
  console.log('STATUS: ' + res.statusCode);
  console.log('HEADERS: ' + JSON.stringify(res.headers));
  res.setEncoding('utf8');
  res.on('data', function (chunk) {
    console.log('BODY: ' + chunk);
  });
});

req.on('error', function(e) {
  console.log('problem with request: ' + e.message);
});

// write data to request body
req.write('data\n');
req.write('data\n');
req.end();

以下是使用节点请求模块的代码

var request = require("request");
request.post({url:'http://www.reddit.com/over18?dest=http%3A%2F%2Fwww.reddit.com%2Fr%2Fnsfw', form: {over18:'yes'}}, function(err,httpResponse,body){
    console.log(body);
});

我尝试访问的网址是http://www.reddit.com/r/nsfw

2 个答案:

答案 0 :(得分:2)

简而言之,当您单击“是”按钮时,表单会使用POST方法将 over18 = yes 参数发送到url http://plnkr.co/edit/jvyyMsSsngeEl74pB5XB?p=preview 。然后,服务器响应302重定向标头,值为 over18 = 1 的cookie,最后使用GET请求重定向到url http://www.reddit.com/over18?dest=http%3A%2F%2Fwww.reddit.com%2Fr%2Fnsfw 。然后,服务器只检查你是否有一个需要val的cookie。

您需要的只是使用GET方法直接向最终网址请求。

var request = require("request");

var target = "http://www.reddit.com/r/nsfw";

var jar = request.jar();
var cookie = request.cookie("over18=1");
cookie.domain = "reddit.com";
cookie.path = "/";

jar.setCookie(cookie, target, function(error, cookie) {
    console.log(error);
    console.log(cookie);
});

request({
    uri: target,
    method: "GET",
    jar: jar
}, function(error, response, body) {
    console.log(response.statusCode);
    console.log(body);
});

答案 1 :(得分:1)

我在 ahem 做一些研究时遇到了这个问题。这是我的版本:

sessions

另外值得一试的是Reddit's Node.js APIs,其中我个人喜欢Snoocore