我有一个拥有大量数据的elasticsearch集群。我想从elasticsearch中提取所有数据到Hadoop(Hive)。我使用Elasticsearch-Hadoop驱动程序,以便通过使用Hive外部表从elasticsearch中提取数据,但它太慢并且始终无法完成任务。
我的第一个问题是从我现有的elasticsearch集群中获取所有数据。 第二个问题是在一天或一小时内复制所有在HDFS上流式传输到弹性搜索的数据。
我如何实现这些目标?
提前致谢。
答案 0 :(得分:0)
您可以使用hadoop系统作为仓库来存储数据,从而可以将数据推送到elasticsearch&反之亦然。尝试仅将弹性搜索用于您想要对当前从elasticsearch删除其余数据进行分析的数据。因此,每当您想要对不同方面进行分析时,请从hadoop&用它。