用于抓取具有多个链接的页面的一般方法

时间:2017-05-08 23:22:34

标签: javascript web-scraping tampermonkey

Tampermonkey noob在这里。所以我在tampermonkey中写了一个脚本,它在一个页面上找到一个表元素,其中一个表格充满链接,从中获取所有href,然后将它放入一个数组中。

我需要实际进入这些链接并获取一些数据,然后返回到表格页面,然后进入下一个链接等,重复直到最后一个链接。我不知道如何实现这一点,因为当它从第一个链接返回到链接页面表时,脚本会重置并再次进入第一个链接。

谢谢,

编辑:

var urls= [];
for (var i= document.links.length; i-->0;){
if (document.links[i].hostname===location.hostname){
    urls.push(document.links[i].href);
}
}    

我想进入链接并打开每个链接并从中获取数据并返回,然后转到下一个链接,重复。

1 个答案:

答案 0 :(得分:0)

我不确定你要求的是什么,但也许你需要使用的是一个循环?可以编辑您的问题以提供源代码吗?

我认为您所要求的解决方案是对于阵列中的每个链接(我假设您有一系列链接),发出请求(可能使用jQuery' s $ .get / $ .post或类似...)然后对回复做一些事情。

如果你想对你的回答做些什么,把它们推到一个数组,然后在完成FOR循环之后,对数组进行操作。