最近我尝试完成一个web-spider,我使用nutch-1.10,我想将数据加载到mongoDB中,这些数据是通过nutch / crawl获得的,我不知道如何为nutch配置mongoDB,我可以&找不到相关材料。我知道,从一些博客来看,nutch2.x是必须的,而1.x无法达到我的目的!但配置的细节仍然不清楚!有人可以清楚了!谢谢!
答案 0 :(得分:1)
对MongoDB的Nutch 2.x支持不是用于存储提取和结构化结果,而是用于在MongoDB中存储nutch的内部数据库。
目前,nutch支持将数据推送到Apache Solr,Elasticsearch和Amazon Cloud服务。如果要将数据推送到MongoDB,则需要创建一个新的索引器插件。查看 indexer-elastic 或 indexer-solr ,了解如何编写新的索引器插件。