Javascript搜索链接

Question

我从this知道我可以使用

搜索整个html页面

var position = document.documentElement.innerHTML.indexOf('dog');

但是，我有一个包含大量链接的网页，我想创建一个简单的脚本来访问和搜索每个链接的页面。这可能吗？

Answer 1

由于同源策略和其他挑战，目前无法仅在浏览器上进行此操作。但是，有一些服务器端JavaScript项目使用node.js，这使得在服务器或桌面上（而不是在浏览器上）相对简单。因为它是nodejs，所以您可以使用与浏览器中相同类型的JavaScript（甚至是jquery选择器）。一个很好的例子是node.io，虽然它主要是为在Linux或OSX上使用而构建的：

https://github.com/chriso/node.io

对于更友好的WIndows方法，您可以使用nodejs以及Request（https://github.com/mikeal/request）和Cheerio，或者jsdom。有许多教程使用这种方法（第一篇教程甚至从页面中提取URL列表）：

• http://www.sitepoint.com/web-scraping-in-node-js
• http://okfnlabs.org/blog/2013/01/15/web-scraping-with-node-css-selectors.html
• http://blog.miguelgrinberg.com/post/easy-web-scraping-with-nodejs

如果您需要使用浏览器，您可以在浏览器中发起请求，在服务器中运行它，然后通过Ajax轻松地将结果发送到浏览器。但是你需要一个服务器中介。

如果您必须在浏览器中执行此操作，那么您必须将其构建为某种浏览器扩展程序或插件。