在Amazon Web Services和Local上集成Solr + Hadoop和Nutch + Hbase

时间:2013-03-08 21:54:08

标签: hadoop solr amazon-web-services hbase nutch

我在亚马逊网络服务上有一台机器,我正在尝试一些搜索功能。我在我的AWS机器上安装了Nutch和Hbase。

我以wikipedia.org为例,抓取的数据存储在Hbase的云端。

我想安装Solr并对其进行搜索。我没有将我的系统安装为集群,因为我只想进行一些研究,即如何使用它等。

我的问题是Hadoop在这个系统中的位置(我还没有安装Hadoop)?安装Hadoop和Solr我的本地计算机是否合乎逻辑。我的下一个挑战是如何与AWS计算机通信我的本地计算机。

1 个答案:

答案 0 :(得分:0)

如果你安装了Nutch,你已经拥有了Hadoop,它处理了你的抓取和解析。 您可以获取Nutch生成的数据并将其推送到Solr进行索引。