如何在NodeJS中创建一个简单的Web scraper？

Question

我正在尝试创建一个简单的Web scraper，它可以执行以下操作：

1. 转到yellowpages.com
2. 选择尚未抓取的第一个类别
3. 点击尚未抓取的第一个商家
4. 删除业务的标题，电话号码和说明
5. 将其抓取的数据附加到.csv文件（或数据库）
6. 回到第1步

我认为Node.js / jQuery最容易实现这样的功能。 任何人都可以指点我一个教程或者快点把东西放在一起吗？

Answer 1

昨天刚刚阅读了有关scraping with NodeJS and Chimera的关于黑客新闻的文章。同一位作者在Enhanced web scraping with NodeJS上写了一篇早期文章。

Chimera看起来很酷，因为它使用无头网络浏览器（QtWebkit），所以你可以让页面加载他们用JS加载的任何内容，这是我在工作中构建的刮刀所需要的。