Elasticsearch-Hadoop获取非索引数据

时间:2015-03-13 15:45:45

标签: hadoop elasticsearch hadoop-streaming elastic-map-reduce elasticsearch-hadoop

我有一个拥有大量数据的elasticsearch集群。我想从elasticsearch中提取所有数据到Hadoop(Hive)。我使用Elasticsearch-Hadoop驱动程序,以便通过使用Hive外部表从elasticsearch中提取数据,但它太慢并且始终无法完成任务。

我的第一个问题是从我现有的elasticsearch集群中获取所有数据。 第二个问题是在一天或一小时内复制所有在HDFS上流式传输到弹性搜索的数据。

我如何实现这些目标?

提前致谢。

1 个答案:

答案 0 :(得分:0)

您可以使用hadoop系统作为仓库来存储数据,从而可以将数据推送到elasticsearch&反之亦然。尝试仅将弹性搜索用于您想要对当前从elasticsearch删除其余数据进行分析的数据。因此,每当您想要对不同方面进行分析时,请从hadoop&用它。