如何将数据从HDFS(Hadoop)导入ElasticSearch?

时间:2019-06-05 15:03:07

标签: hadoop elasticsearch hive hdfs

我们有一个大型的Hadoop集群,最近安装了Elastic Search进行评估。

现在,我们希望将数据从HDFS导入ElasticSearch。

ElasticSearch已安装在其他群集中,到目前为止-我们可以运行Beeling或HDFS脚本以将Hadoop中的数据提取到某个文件中,然后从本地文件中将其批量加载到ElasticSearch中。

想知道从HDFS到ElasticSearch的直接连接。 我从这里开始阅读: {{3}}

但是由于我们的团队不是DevOps(既不配置也不管理Hadoop集群),并且只能通过Kerberos /用户/通过访问Hadoop-想知道是否有可能进行配置(以及如何配置)而不涉及整个管理Hadoop的DevOps团队集群直接安装/设置所有这些库?

如何从客户端进行操作?

谢谢。

0 个答案:

没有答案