如何刮取Meteor webapp?

时间:2016-09-25 07:22:36

标签: meteor google-apps-script web-scraping

我有一个Meteor webapp。 (例如http://www.merafi.com)。我想使用Google Apps脚本抓取网站。我为此写了一个小脚本。

function myFunction() {
  const url = 'http://www.merafi.com';
  const response = UrlFetchApp.fetch(url, {muteHttpExceptions: true});
  return response.getContentText();
}

该脚本在Google电子表格中用作宏。

=myFunction()

抓取Meteor webapp的问题在于我得到一个空体,其中只有脚本标签。如何获取body标签内的内容?

enter image description here

1 个答案:

答案 0 :(得分:0)

加载页面后,需要使用PhantomJS或NightmareJS等爬虫来运行Meteor JS。遗憾的是,Google Apps脚本环境不允许加载外部依赖项/包。 Apps Script API没有任何方法可以在单独的iframe / webview中加载页面。使用Google Apps脚本无法做到这一点。

感谢@Floo和@CodeChimp在评论中回答问题。