我正在尝试使用请求模块来抓取网站并获取响应HTML。为了防止被目标站点阻止,我需要使用一些代理。但是由于某些原因,我无法完成将请求与代理一起使用的情况。
我还尝试了许多不同的代理,但是没有一个代理可以胜任。
我的代码:
const request = require('request');
const cheerio = require('cheerio');
var servers = [
'http://173.249.48.240:8080',
'http://85.214.250.48:3128'
]
var options = {
'url': 'http://www.google.de',
'proxy': servers[1]
};
request(options, (err,res,body) => {
console.log(res);
console.log(body);
console.log(err);
try {
var $ = cheerio.load(body);
console.log($('#ipv4').html());
} catch(err) {
//do nothing
}
})
我尝试过很多不同的代理,并且之前也曾做过噩梦,但是每次尝试连接代理时,都会遇到以下异常:
{ Error: connect ECONNREFUSED 85.214.250.48:3128
at Object._errnoException (util.js:1024:11)
at _exceptionWithHostPort (util.js:1046:20)
at TCPConnectWrap.afterConnect [as oncomplete] (net.js:1182:14)
code: 'ECONNREFUSED',
errno: 'ECONNREFUSED',
syscall: 'connect',
address: '85.214.250.48',
port: 3128 }