如何像在Web浏览器中一样模拟对网站的访问

时间:2019-04-05 13:32:45

标签: node.js

我正试图找到一种方法来模拟访问网站,就像在Web浏览器中一样,并执行javascript等...

如果我尝试使用jsdom,则Google Analytics(分析)对我的人员网站没有任何帮助。这只是捕获源代码。

如何使用node.js做到这一点?

1 个答案:

答案 0 :(得分:1)

模拟是什么意思?当网络浏览器访问网站时,它将向服务器发出一个http请求,并且如果服务器返回了html文档,它将对其进行解析并将其显示给您。您可以使用Node.js http模块发出http请求(示例直接取自文档):

http.get('http://nodejs.org/dist/index.json', (res) => {
  const { statusCode } = res;
  const contentType = res.headers['content-type'];

  let error;
  if (statusCode !== 200) {
    error = new Error('Request Failed.\n' +
                      `Status Code: ${statusCode}`);
  } else if (!/^application\/json/.test(contentType)) {
    error = new Error('Invalid content-type.\n' +
                      `Expected application/json but received ${contentType}`);
  }
  if (error) {
    console.error(error.message);
    // Consume response data to free up memory
    res.resume();
    return;
  }

  res.setEncoding('utf8');
  let rawData = '';
  res.on('data', (chunk) => { rawData += chunk; });
  res.on('end', () => {
    try {
      const parsedData = JSON.parse(rawData);
      console.log(parsedData);
    } catch (e) {
      console.error(e.message);
    }
  });
}).on('error', (e) => {
  console.error(`Got error: ${e.message}`);
});