Web抓取,无法获得服务器响应

时间:2018-10-16 16:15:29

标签: node.js web-scraping timeout axios

您可能会在标题中看到,我遇到了axios(Nodejs)的问题。 我尝试抓取一个URL,但超时答案每次都超过。 我也尝试过使用wget,结果相同,但是通过卷曲我得到了想要的身体。 我对此一无所知,如果您有任何想法,我在听。 预先感谢。

这是我的代码:

let axios = require('axios');
let cheerio = require('cheerio');

const A = axios.create({
    headers: {
        'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
        'Accept-Encoding': 'gzip, deflate',
        'Accept-Language': 'fr-FR,fr;q=0.9,en-US;q=0.8,en;q=0.7',
        'Cache-Control': 'max-age=0',
        'Connection': 'keep-alive',
        'Host': 'www.logic-immo.com',
        'Referer': 'http://www.logic-immo.com',
        'Upgrade-Insecure-Requests': '1',
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36',
    },
    timeout : 10000
});

A.get('http://www.logic-immo.com')
    .then((response) => {
        if(response.status === 200) {
        const html = response.data;
            const $ = cheerio.load(html); 
    }
    }, (error) => console.log(err) );

0 个答案:

没有答案