在Amazon Web Services和Local上集成Solr + Hadoop和Nutch + Hbase

Question

我在亚马逊网络服务上有一台机器，我正在尝试一些搜索功能。我在我的AWS机器上安装了Nutch和Hbase。

我以wikipedia.org为例，抓取的数据存储在Hbase的云端。

我想安装Solr并对其进行搜索。我没有将我的系统安装为集群，因为我只想进行一些研究，即如何使用它等。

我的问题是Hadoop在这个系统中的位置（我还没有安装Hadoop）？安装Hadoop和Solr我的本地计算机是否合乎逻辑。我的下一个挑战是如何与AWS计算机通信我的本地计算机。

Answer 1

如果你安装了Nutch，你已经拥有了Hadoop，它处理了你的抓取和解析。 您可以获取Nutch生成的数据并将其推送到Solr进行索引。