如何使用cheerio从网页中的换行符中删除内容

时间:2014-02-01 14:50:18

标签: javascript node.js web-scraping jsdom cheerio

大家好日子。

我有两个关于使用Cheerio进行网页抓取的问题。我查看了可能有我答案的问题,但找不到回答我问题的问题所以我决定问一个问题。

背景信息:我只学习了大约2~3个月的Javascript,所以我可能会问一些非常搞笑的问题,请原谅我。

目标:我正在寻找以下网站的数据 -

我希望得到

  • 自行车商店的名称
  • 自行车商店地址
  • 自行车店的电话

我已经设法抓取了我需要的数据,但是它们在html组中是不公正的(不确定这是否是如何调用它。 这是我使用的代码。

var request = require('request');
var cheerio = require('cheerio');

var url = 'http://www.togoparts.com/bikeshops/list_shops.php?country=MY';
request(url, function(err, resp, body) {
    if (err)
        throw err;
    $ = cheerio.load(body, {
        normalizeWhitespace: false
    });
    var doc = $("td[width='52%'].verdana1");
    doc.each(function() {
        var link = $(this);
        console.log(link.html());

   });
});

结果在一个循环中运行,我能够得到以下结果。我无法发布图片 - 我已将图片放在以下link中。

问题:如何单独获取数据?

我需要链接的标题,我试过`var link = $(this).attr('href');'但不起作用。

我还需要换行后的信息(自行车地址) - 我不知道如何接受它。

问题2: 我尝试了以下var doc = $("td[width='52%'] .verdana1"); - 请注意.verdana1之前的空格 - 这只给我了我想要的自行车的标题,这与var doc = $("td[width='52%'].verdana1");

有何不同

如果我正在使用此var doc = $("td[width='52%'] .verdana1"); - 我怎样才能获得自行车店地址的数据?

非常感谢你阅读,我一直试图在农历新年期间解决这个问题,这让我很生气:(。我很期待向你们学习。

布赖恩

1 个答案:

答案 0 :(得分:0)

如果是链接,您可以先在文档中找到它们,然后记录所有href属性:

var doc = $("td[width='52%'].verdana1");
links = doc.find('a');
links.each(function (i,elem) {
    console.log(elem.attribs.href);
})

这将记录href atttribute的所有值。

当涉及到地址时它更复杂,因为它们在DOM中没有语义区分,它们也是表格单元格的子项,因此您需要嵌套循环,但您可以通过查找类型为text的元素来访问它们。

doc.each(function (i,elem) {
    # elem here is table cell
    elem.children.forEach(function (child,i) {
       # now all children of table cell (i.e links,spans,divs and just text)
       if (child.type == "text") {
            console.log(child.data);
       }
    })
});

希望它有所帮助。