Question

我想从彭博（Bloomberg）网址获取正文。

这是我正在使用的代码：

   const options = {
    url: 'https://www.bloomberg.com/quote/CCMP:IND',
    headers: {
      'User-Agent': 'request'
    }
  };

  function callback(error, response, body) {
    if (!error && response.statusCode == 200) {
      console.log(body);
    }
  }

  request(options, callback);

但是当我在控制台登录正文时，我收到此消息：

<!doctype html>
<html>
<head>
    <title>Bloomberg - Are you a robot?</title>
    <meta name="viewport" content="width=device-width, initial-scale=1">

我在Python中使用BeautifulSoup找到了类似的问题和解决方案...但是在NodeJs中找不到解决方案：How to scrape text from a <p> elements "id"

Answer 1

首先，您可以尝试添加使用request进行请求时普通浏览器具有的所有标头，如下所示：

headers: {
    'accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
    'accept-encoding': 'gzip, deflate, br',
    'accept-language': 'en-US,en;q=0.9,fr;q=0.8,ro;q=0.7,ru;q=0.6,la;q=0.5,pt;q=0.4,de;q=0.3',
    'cache-control': 'max-age=0',
    'upgrade-insecure-requests': '1',
    'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'
}

如果仍然无法正常工作，则应尝试 Puppeteer ，它是由Google制造的基于Chromium的浏览器API，您可以使用 NodeJs 来模拟浏览器的确切工作流程。 >。

这是一个很好的示例，说明如何使用它并开始：NodeJs Scraping with Puppeteer

从彭博（Bloomberg）网址请求时，我无法得到身体

1 个答案: