使用jQuery在HTML中刮擦子元素?

时间:2011-08-19 03:49:56

标签: jquery node.js jquery-selectors screen-scraping web-scraping

我目前正在编写一个脚本来从HTML页面中提取一些非常基本的信息。具体来说,我正在尝试从allmusic.com获取有关艺术家的一些信息。我正在使用jQuery在node.js中编写这个脚本来进行实际的抓取,并使用this blog post中的示例让它在某种程度上工作。

我要做的是对一位受欢迎的艺术家进行搜索,然后在第一个结果上存储一些基本信息,这几乎完全是我正在寻找的艺术家。我可以使用下面的代码提取有问题的表,但我无法弄清楚如何从HTML中获取前几个td元素,这是我真正需要做的。我的node.js代码如下:

var request = require('request'),
    jsdom = require('jsdom');

request({ uri:'http://allmusic.com/search/artist/lady+gaga' }, function (error, response, body) {

  jsdom.env({
    html: body,
    scripts: [
      'http://code.jquery.com/jquery-1.5.min.js'
    ]
  }, function (err, window) {
    var $ = window.jQuery;

    // jQuery is now loaded on the jsdom window created from 'agent.body'
    var search = $('.search-results').html();
    if(search != null){
      //gah what can i do here?!?
    }
  });
});

以下是相关HTML块,因此您无需自行查找:

<table class="search-results" border="0" cellpadding="0" cellspacing="0" width="100%">
   <tr>
      <th class="relevance">
          <a href="http://www.allmusic.com/search/artist/lady gaga/filter:all/exact:0/order:relevance-asc" title="order by relevance">Relevance</a>
      </th>
      <th width="10px">&nbsp;</th>

      <th>
         <a href="http://www.allmusic.com/search/artist/lady gaga/filter:all/exact:0/order:name-asc" title="order by name">Name</a>
      </th>
      <th width="75px">
          <a href="http://www.allmusic.com/search/artist/lady gaga/filter:all/exact:0/order:genre-asc" title="order by genre">Genre</a>
       </th>
       <th width="200px">Years Active</th>

    </tr>

           ACTUAL RELEVANT STUFF THAT I WANT ARE BELOW

    <tr>
       <td class="relevance text-center">
           <div class="bar" style="width:100%" title="100%"></div>
       </td>
       <td class="text-center"></td>
       <td><a href="http://www.allmusic.com/artist/lady-gaga-p1055684">Lady Gaga</a></td>

        <td>Pop/Rock</td>   //SPECIFICALLY THIS
        <td>00s</td>
    </tr>

此表中有更多条目,但这是第一个结果。是否有可能创建一个td或类似的数组,并获得正确的索引?它应该是每个艺术家的相同索引,假设我总是会得到第一个结果。

如果无法做到这一点,还有其他方法可以实现我的目标吗?或者,有没有更好的方法来做我正在尝试使用node.js?我看了一堆不同的选项,这似乎是最简单的。

最好,谢谢,萨米

1 个答案:

答案 0 :(得分:1)

您可以使用.siblings()方法遍历td元素。

请参阅:http://api.jquery.com/siblings/ 您还可以使用JQuery获取所有td元素,这些元素将返回一个数组并使用您提到的索引。

选择器应该是这样的:

var tds= $('.search-results tr td');

这将获得表格中的所有tds,因此您必须乘以列数。

var trs = $('.search-results tr');

请记住,第一列包含标题,而不包含在tds变量中。

希望得到这个帮助。