什么是ElasticSearch-Hadoop(es-hadoop)及其对HBase的实时Web应用程序的好处?

时间:2015-07-30 14:23:16

标签: hadoop elasticsearch hbase elasticsearch-hadoop

我不完全清楚description的es-hadoop是什么。

这仅仅是一个“连接器”,它会将数据从ES群集移动到HDFS以进行Hadoop分析吗?如果是这样,为什么不选择HBase进行低延迟文本查询呢?

es-Hadoop与普通ES的安装方式不同吗?

请澄清一下。

感谢。

1 个答案:

答案 0 :(得分:7)

ES-Hadoop更接近于成为Hadoop生态系统与ES之间的连接器。它不是ES的单独版本。

基本上它改善了Hadoop生态系统应用程序与ES之间的集成。在我的组织中,我们将此功能用于以下目的:

  1. 在将数据索引到ES之前,我们使用Spark来分析数据并执行相关聚合以减少应在ES上执行的索引量。 ES-Hadoop帮助我们直接从Spark数据结构索引到ES。我们用一行代码开始索引过程,不需要自己编写索引程序。 (该功能是可配置的,您可以根据需要灵活地索引数据。)

  2. 在我们的组织中,我们使用ES作为近实时分析群集。 ES中的数据放置方式将为我们的客户带来最佳性能。有时(通常当我们有关于某些新功能的想法时),我们必须从ES获取数据并对数据执行一些复杂的处理。在这些情况下,我们也可以在一行代码中从ES数据创建Spark数据结构。

  3. 因此,ES-Hadoop更接近成为一个写得很好的连接器。您仍然必须将数据从ES群集传输到Hadoop。

    我不确定与HBase的比较,你不能真正比较HBase的功能,这是一个关键的价值存储与ES相比,ES是一个通用的搜索引擎+在最后实现了非常好的分析功能版本。在我看来,我们正在处理访问不同问题的不同工具。