使用CasperJS将源代码转储到mongoDB中

时间:2014-02-08 19:05:48

标签: javascript mongodb casperjs

如何在MongoDB上存储通过casperjs抓取的数据?我有一个casperjs脚本,可以从数百万个网站上删除数据,并将每个站点的内容存储在一个单独的文件夹中。我现在意识到我宁愿将数据保存到MongoDB上以便轻松执行CRUD操作。请帮忙。

1 个答案:

答案 0 :(得分:-1)

db.webpages.insert({"renderedHTML": "<escaped string/text>"})

您可能希望存储其他元数据(例如,抓取时间戳,网址等)