如何从google apps脚本中的urlfetch获取Google搜索结果

Question

我一直在尝试以下代码

var response = UrlFetchApp.fetch("https://www.google.com/#q=this+is+a+test");      
var contentText = response.getContentText();
      Logger.log(contentText);
      var thisdoc=DocumentApp.getActiveDocument().getBody() ;
      thisdoc.setText(contentText);
     Logger.log(contentText.indexOf("About"));

但它似乎只返回标题和空体，而没有搜索结果。至少我应该能够在浏览器的顶部看到“关于xxx结果”，但这不会出现在文本中，indexOf也不会返回正屏幕。我想知道搜索结果是否填充后页面加载意味着正文标记确实是空的，如果有，是否有解决方法？

编辑：不，它不会破坏TOS，因为这是一个GAFE应用程序（这是一个商业应用程序），对于商业帐户，他们有免费和高级模式访问他们的API。

Answer 1

Google为授权搜索提供了API，因此不要轻易抓取网页。

例如，您可以将Custom Search API与UrlFetch()一起使用。

从脚本编辑器转到Resources -> Developer's Console Project... -> View Developer's Console。为公共API访问创建新密钥。按照自定义搜索API文档中的说明创建自定义搜索引擎。在指示的脚本中输入密钥和ID。 （详情如下。）

此示例脚本将返回包含成功搜索结果的对象;您可以导航对象以提取您想要的任何信息。

/**
 * Use Google's customsearch API to perform a search query.
 * See https://developers.google.com/custom-search/json-api/v1/using_rest.
 *
 * @param {string} query   Search query to perform, e.g. "test"
 *
 * returns {object}        See response data structure at
 *                         https://developers.google.com/custom-search/json-api/v1/reference/cse/list#response
 */
function searchFor( query ) {

  // Base URL to access customsearch
  var urlTemplate = "https://www.googleapis.com/customsearch/v1?key=%KEY%&cx=%CX%&q=%Q%";

  // Script-specific credentials & search engine
  var ApiKey = "--get from developer's console--";
  var searchEngineID = "--get from developer's console--";

  // Build custom url
  var url = urlTemplate
    .replace("%KEY%", encodeURIComponent(ApiKey))
    .replace("%CX%", encodeURIComponent(searchEngineID))
    .replace("%Q%", encodeURIComponent(query));

  var params = {
    muteHttpExceptions: true
  };

  // Perform search
  Logger.log( UrlFetchApp.getRequest(url, params) );  // Log query to be sent
  var response = UrlFetchApp.fetch(url, params);
  var respCode = response.getResponseCode();

  if (respCode !== 200) {
    throw new Error ("Error " +respCode + " " + response.getContentText());
  }
  else {
    // Successful search, log & return results
    var result = JSON.parse(response.getContentText());
    Logger.log( "Obtained %s search results in %s seconds.",
               result.searchInformation.formattedTotalResults,
               result.searchInformation.formattedSearchTime);
    return result;
  }
}

示例：

[15-05-04 18:26:35:958 EDT] {
  "headers": {
    "X-Forwarded-For": "216.191.234.70"
  },
  "useIntranet": false,
  "followRedirects": true,
  "payload": "",
  "method": "get",
  "contentType": "application/x-www-form-urlencoded",
  "validateHttpsCertificates": true,
  "url": "https://www.googleapis.com/customsearch/v1?key=--redacted--&cx=--redacted--&q=test"
}
[15-05-04 18:26:36:812 EDT] Obtained 132,000,000 search results in 0.74 seconds.

使用API​​密钥

识别您的Google应用程序

（摘自Google's documentation。）

1. 转到Google Developers Console。

2. 选择一个项目，或者创建一个新项目。

   

3. 在左侧边栏中，展开 API＆amp; AUTH 即可。接下来，单击 API 。在API列表中，确保自定义搜索API 的状态为“开”。

   

   。 。

   

4. 在左侧边栏中，选择凭据。

   点击公开API访问下的创建新密钥，创建应用程序的API密钥。要使用Google Script，请创建浏览器密钥。

5. 创建浏览器应用程序密钥后，将 API密钥复制到您的代码中。

创建自定义搜索引擎

按照说明here。创建自定义搜索引擎后，将搜索引擎ID 复制到您的代码中。