使用Google Chrome扩展程序抓取网站

时间:2019-08-26 18:52:33

标签: web-scraping google-chrome-extension

我正在尝试构建供许多用户使用的chrome扩展程序。此chrome扩展程序将始终从同一网站抓取数据。

在进行了在线培训之后,我了解到必须将抓取逻辑放在内容脚本中。现在,由于要抓取的网站包含许多页面和许多链接,因此我试图以一种方式使扩展程序的用户看不到主窗口打开不同的链接。

您会在内容脚本的起点下方找到

chrome.runtime.onMessage.addListener(function(request,sender, sendResponse){
  if (request.todo=="extractData") {
  alert("before launching the request");
  const request = require('request');
  request('https://www.url_to_scrape.com', function(err, res, body) {
      alert("in the request");
      console.log(body);
  });
  }
});

我收到以下错误消息:“ Unchecked runtime.lastError:消息端口在收到响应之前已关闭。”

任何帮助将不胜感激:-)

胡格斯

1 个答案:

答案 0 :(得分:0)

找到答案后,应将代码插入后台页面,而不是内容页面。

此外,应将要爬网的网站列表添加到manifest.json