大家好日子。
我有两个关于使用Cheerio进行网页抓取的问题。我查看了可能有我答案的问题,但找不到回答我问题的问题所以我决定问一个问题。
背景信息:我只学习了大约2~3个月的Javascript,所以我可能会问一些非常搞笑的问题,请原谅我。
目标:我正在寻找以下网站的数据 -
我希望得到
我已经设法抓取了我需要的数据,但是它们在html组中是不公正的(不确定这是否是如何调用它。 这是我使用的代码。
var request = require('request');
var cheerio = require('cheerio');
var url = 'http://www.togoparts.com/bikeshops/list_shops.php?country=MY';
request(url, function(err, resp, body) {
if (err)
throw err;
$ = cheerio.load(body, {
normalizeWhitespace: false
});
var doc = $("td[width='52%'].verdana1");
doc.each(function() {
var link = $(this);
console.log(link.html());
});
});
结果在一个循环中运行,我能够得到以下结果。我无法发布图片 - 我已将图片放在以下link中。
问题:如何单独获取数据?
我需要链接的标题,我试过`var link = $(this).attr('href');'但不起作用。
我还需要换行后的信息(自行车地址) - 我不知道如何接受它。
问题2:
我尝试了以下var doc = $("td[width='52%'] .verdana1");
- 请注意.verdana1之前的空格 - 这只给我了我想要的自行车的标题,这与var doc = $("td[width='52%'].verdana1");
如果我正在使用此var doc = $("td[width='52%'] .verdana1");
- 我怎样才能获得自行车店地址的数据?
非常感谢你阅读,我一直试图在农历新年期间解决这个问题,这让我很生气:(。我很期待向你们学习。
布赖恩
答案 0 :(得分:0)
如果是链接,您可以先在文档中找到它们,然后记录所有href属性:
var doc = $("td[width='52%'].verdana1");
links = doc.find('a');
links.each(function (i,elem) {
console.log(elem.attribs.href);
})
这将记录href atttribute的所有值。
当涉及到地址时它更复杂,因为它们在DOM中没有语义区分,它们也是表格单元格的子项,因此您需要嵌套循环,但您可以通过查找类型为text的元素来访问它们。
doc.each(function (i,elem) {
# elem here is table cell
elem.children.forEach(function (child,i) {
# now all children of table cell (i.e links,spans,divs and just text)
if (child.type == "text") {
console.log(child.data);
}
})
});
希望它有所帮助。