Question

如何通过网站登录表单以及如何在网站上查看任何相关网页的HTML代码。

我试图通过网站上的登录表单，然后解析保存我的帐户信息的html页面，但是我不能这样做。这是我的代码。

const express = require('express');
const fs = require('fs'); //access to file system
const request = require('request');
const cheerio = require('cheerio');
const rp = require('request-promise');
const app = express();

let url = 'url';

(request.post({url:'url1', form: {
    email:'email',
    password:'password'  
}}, 
function(error, response, html){
    if(error){
    console.log(error);
    }
    else{
    console.log(html);
    }
}))

app.get('/scrape', function(req, res){
    requestToWork(url);
    res.send('Check your console!')
})

function requestToWork(url){
    return rp(url)
    .then(HTMLresponse=>{ 
        const $ = cheerio.load(HTMLresponse);
        console.log($.text());
        $('.ellipsis').each((i, element) => {
            console.log(element);
        });
    })
}

app.listen('8080')
console.log('Listening port 8080');
exports = module.exports = app;

它只是从LOGIN页面记录HTML代码给我。我想登录另一个页面。

Answer 1

问题是cheerio无法跟随新的网址。

在您的特定情况下，有两种可能的解决方案：
1.使用浏览器在网站上登录，通过开发人员工具访问Cookie，并将其复制到您的request。来自documentation的类似内容。
2.使用自动无头浏览器，该浏览器可以跟随页面重定向。并保留您的会话数据。像puppeteer或selenium。

如果您已经在使用node.js，则使用puppeteer实现逻辑会更容易。

Here是有关操纵up的更多信息。

更新

木偶：

const puppeteer = require('puppeteer');

(async () => {
  const browser = await puppeteer.launch();
  const page = await browser.newPage();
  await page.goto('https://example.com');

  // Now you have two ways
  // First one with evaluate, to access page DOM
  await page.evaluate(() => {
     // Here you have access to DOM. So you can make any JS DOM operations, you wish.

     const form = document.querySelector('form');
     const email = document.querySelector('email'); 

     // ...some actions

     form.submit();
  })

  // The second one, with puppeteer helper functions
  const email = await page.$('email');
  // Type function will type text in input
  await elementHandle.type('some text');
  // press function will emulate enter button press.
  await elementHandle.press('Enter');

  await page.waitFor(1500);
  // Here you have result of your auth procedure.

  // After all your operations, just close the browser.
  await browser.close();
})();

Here是关于木偶类型的

如果我们正在寻找request的实现。
首先，我们必须获取Cookie。
您可以通过this chrome扩展程序提取Cookie，或转到开发工具的Network标签，单击第一条记录，然后在Cookie部分中查找Request Headers标题。
只需复制
然后，在代码中像这样从official documentation执行request：

const j = request.jar();
// Here 'key1=value1' change with your cookie from browser
const cookie = request.cookie('key1=value1');
const url = 'http://www.google.com';
j.setCookie(cookie, url);
request({url: url, jar: j}, function () {
    request('http://images.google.com')
})

如何通过网络抓取来完成表单填充？

1 个答案: