构建一个scraper,如果一个页面不使用jQuery怎么办?

时间:2013-04-02 06:18:22

标签: javascript jquery web-scraping screen-scraping

我正在研究一个刮刀,我想刮掉某些网​​站,但在ID或类上使用jQuery不会返回任何内容,这意味着他们不会在他们的网站上使用jQuery。

如何为不使用jQuery的网站构建我的刮刀,例如CNN或Instapaper.com?

我已经尝试了$$,但我似乎无法找到方法来调用它来获取像孩子或div的值这样的东西。

任何建议都会非常有用!

2 个答案:

答案 0 :(得分:1)

看看jQueryfy。它似乎完全符合你的需要。但使用原生javascript可能是一个更好的主意。

答案 1 :(得分:1)

自己注入jQuery。

var script = document.createElement("script");
script.type = "text/javascript";
script.src = "//ajax.googleapis.com/ajax/libs/jquery/1.9.1/jquery.min.js";
var body = document.getElementsByTagName("body")[0];
body.appendChild(script);

注意:这也非常适合作为浏览器书签 - 在调试不使用jQuery的应用程序时,这会产生奇迹。