Google Apps脚本有类似getElementById的内容吗?

时间:2013-05-22 14:52:48

标签: dom google-apps-script web-scraping

我将使用Google App Script从广播电台的网站上获取节目列表。 如何通过指定元素的id来选择网页中的指定元素? 因此,我可以在网页上获取这些程序。

3 个答案:

答案 0 :(得分:4)

编辑,2013年12月:Google已弃用旧的Xml服务,将其替换为XmlService。此答案中的脚本已更新为使用新服务。新服务需要符合标准的XML& HTML,虽然旧版本原谅了缺少关闭标签等问题。


查看Tutorial: Parsing an XML Document。 (截至2013年12月,本教程仍然在线,但不推荐使用Xml服务。)从该基础开始,您可以利用脚本服务中的XML解析来导航页面。这是一个以你的例子为例的小脚本:

function getProgrammeList() {
  txt = '<html> <body> <div> <div> <div id="here">hello world!!</div> </div> </div> </html>'

  // Put the receieved xml response into XMLdocument format
  var doc = Xml.parse(txt,true);

  Logger.log(doc.html.body.div.div.div.id +" = "
            +doc.html.body.div.div.div.Text );    /// here = hello world!!

  debugger;  // Pause in debugger - examine content of doc
}

要获得真实页面,请从以下开始:

var url = 'http://blah.blah/whatever?querystring=foobar';
var txt = UrlFetchApp.fetch(url).getContentText();
....

如果查看getElements的文档,您会发现支持检索特定标记,例如“div”。它找到了特定元素的直接子元素,它不会探索整个XML文档。您应该能够编写遍历文档的函数,检查每个id元素的div,直到找到您的程序列表。

var programmeList = findDivById(doc,"here");

编辑 - 我忍不住自己......

这是一个实用功能,可以做到这一点。

/**
 * Find a <div> tag with the given id.
 * <pre>
 * Example: getDivById( html, 'tagVal' ) will find
 * 
 *          <div id="tagVal">
 * </pre>
 *
 * @param {Element|Document}
 *                     element     XML document or element to start search at.
 * @param {String}     id      HTML <div> id to find.
 *
 * @return {XmlElement}        First matching element (in doc order) or null.
 */
function getDivById( element, id ) {
  // Call utility function to do the work.
  return getElementByVal( element, 'div', 'id', id );
}

/**
 * !Now updated for XmlService!
 *
 * Traverse the given Xml Document or Element looking for a match.
 * Note: 'class' is stripped during parsing and cannot be used for
 * searching, I don't know why.
 * <pre>
 * Example: getElementByVal( body, 'input', 'value', 'Go' ); will find
 * 
 *          <input type="submit" name="btn" value="Go" id="btn" class="submit buttonGradient" />
 * </pre>
 *
 * @param {Element|Document}
 *                     element     XML document or element to start search at.
 * @param {String}     elementType XML element type, e.g. 'div' for <div>
 * @param {String}     attr        Attribute or Property to compare.
 * @param {String}     val         Search value to locate
 *
 * @return {Element}               First matching element (in doc order) or null.
 */
function getElementByVal( element, elementType, attr, val ) {
  // Get all descendants, in document order
  var descendants = element.getDescendants();
  for (var i =0; i < descendants.length; i++) {
    var elem = descendants[i];
    var type = elem.getType();
    // We'll only examine ELEMENTs
    if (type == XmlService.ContentTypes.ELEMENT) {
      var element = elem.asElement();
      var htmlTag = element.getName();
      if (htmlTag === elementType) {
        if (val === element.getAttribute(attr).getValue()) {
          return element;
        }
      }
    }
  }
  // No matches in document
  return null;
}

将此应用于您的示例,我们得到了这个:

function getProgrammeList() {
  txt = '<html> <body> <div> <div> <div id="here">hello world!!</div> </div> </div> </html>'

  // Get the receieved xml response into an XML document
  var doc = XmlService.parse(txt);

  var found = getDivById(doc.getElement(),'here');
  Logger.log(found.getAttribute(attr).getValue()  
             + " = "
             + found.getValue());    /// here = hello world!!
}

注意:有关使用这些实用程序的实际示例,请参阅this answer

答案 1 :(得分:1)

我将假设您指的是使用UrlFetchApp的fetch()方法。在这种情况下,答案是否定的,就是你在想什么。

如果您查看fetch() in the documentation的返回类型,则会返回HTTPResponse。有几种方法,但大多数方法涉及将返回的数据作为字符串。好消息是,你仍然可以使用任何(好的,大多数)传统的JS String方法documented here - 所以你可以使用search()match()等等。根据你的项目你可以使用它们来查找您在响应中查找的数据。

答案 2 :(得分:1)

有人made an example here,其中以下自定义功能可用于剪切&amp;粘贴使用:

  • getElementById()
  • getElementsByClassName方法()
  • 的getElementsByTagName()

然后你可以做这样的事情

function doGet() {
  var html = UrlFetchApp.fetch('http://en.wikipedia.org/wiki/Document_Object_Model').getContentText();
  var doc = XmlService.parse(html);
  var html = doc.getRootElement();
  var menu = getElementsByClassName(html, 'menu-classname')[0];
  return menu;
}