Question

我注意到，在我的实验过程中，我无法使用htmlparser或htmlparser2软件包解析从request.get收到的文本。

与https.request相比，返回的字符串不一样，换行明智。我正在编写一个人类可读的页面，http.request处理程序能够聚合数据以匹配服务器响应的输出。

但是对于request.get，我收到一个没有换行符的响应。因此，我只能假设我没有使用不受requestjs支持的解析包，并引发了一个问题：

实际解析从reqeust.get和requst.post调用中收到的HTML的最佳方法是什么？

谢谢。

Answer 1

道歉，我正在使用响应而不是身体，这是正确的方法：

var request = require('request');
var htmlparser = require('htmlparser2');
var select = require('soupselect').select

var url =  '';


function httpsHandler(err, response, body) {
    if(err){
      console.error('to err is human')
      process.exit(1);
    }

    var parser = new htmlparser.Parser(htmlHandler);
    parser.parseComplete(body);
}


var htmlHandler = new htmlparser.DefaultHandler( (error, dom) => {
  if (error){
    console.log( 'error', error );
    process.exit(1);
  }
  var options = extractData( dom );
});


function extractData( dom ){

  var collection = select(dom, '#ctl00_LeftColumnMiddle_Table1 table td');

  collection.forEach( ( licenses ) => {
    licenses.children.forEach( ( license, i ) => {
      var data  = ( license.data  ) ? license.data : license.children[0].data
      console.log( data );
    });
  })
}

//entry point
request.get( url , httpsHandler );

使用请求包

1 个答案: