Question

最近我试图使用Nodejs，kicktipp和cheerio从网站（request module）抓取信息。由于此站点需要身份验证才能查看其大部分站点，因此我尝试通过发布请求登录并检查用户是否使用以下代码登录（我使用虚拟数据替换了凭据但我使用了真实数据在我的实际脚本中）：

var request = require('request');
var jar = request.jar();
var request = request.defaults({
  jar: jar,
  followAllRedirects: true
});
var jar = request.jar();
var cheerio = require('cheerio');

request.post({
    url: 'http://www.kicktipp.de/info/profil/loginaction',
    headers: { 'content-type': 'application/x-www-form-urlencoded' },
    method: 'post',
    jar: jar,
    body: 'kennung=test@example.com&passwort=1234567890&_charset_=UTF-8&submitbutton=Anmelden'
}, function(err, res, body){
  if(err) {
    return console.error(err);
  };

  request.get({
    url: 'http://www.kicktipp.de/',
    method: 'get',
    jar: jar
  }, function(err, res, body) {
    if(err) {
      return console.error(err);
    };

    var $ = cheerio.load(body);
    var text = $('.dropdownbox > li > a').text();
    console.log(text);
    var error = $('#kicktipp-content > div.messagebox.errors > p').text();
    console.log(error);
    var cookies = jar.getCookies('http://www.kicktipp.de/');
    console.log(cookies);
  });
});

html-form（通过浏览器检查）发送的参数如下所示：

kennung=test@example.com&passwort=1234567890&_charset_=UTF-8&submitbutton=Anmelden

使用该脚本，我的cookie jar看起来像这样：

[ Cookie="JSESSIONID=F650D7F5CD6AF4F6B0944B2190EE2D29.kt213; Path=/; hostOnly=true; aAge=1ms; cAge=179ms" ]

JSESSIONID已成功保存，但自console.log(text)打印Login后服务器将不会登录，但如果用户已正确登录，则应打印Logout。< / p>

在使用浏览器检查登录请求后，我发现浏览器每次通过响应头中的set-cookie请求此域上的页面时都会收到新的cookie，如下所示：

Set-Cookie: login=bS5zcGxpZXRob2V2ZXJAZ21haWwuY29tOjE0NzU0MDA3MjAxMjA6Mzg1NTI4OGY3ODgzN2FkMzllNTA0NWNkY2ZjMjBjZGM; Domain=.kicktipp.de; Expires=Sun, 02-Oct-2016 09:32:00 GMT; Path=/; HttpOnly

但是，我无法（或者根本不知道如何）将此Cookie放入我的请求jar中，因此以登录用户身份访问该页面。

我是否有任何遗漏登录（或者完全登录页面）？提前谢谢。

Answer 1

问题在于此页面似乎需要您在首次访问时获得的特定cookie（在这种情况下，它似乎是一个时区cookie）。要获得此cookie，您只需在向服务器发送登录（POST）请求之前访问该页面（使用GET请求）。在这种情况下，就像在上面的代码中包装另一个GET请求一样简单：

var loginLink = 'http://www.kicktipp.de/info/profil/login';

// creating a clean jar
var j = request.jar();

request.get({url: loginLink, jar: j}, function(err, httpResponse, html) {
  // place POST request and rest of the code here
});

Nodejs使用身份验证cookie进行网页抓取

1 个答案: