Question

我有两个独立的Elasticsearch集群，我想将数据从第一个集群重新索引到第二个集群，但我发现我只能在SparkContext配置中设置一个Elasticsearch集群，例如：

var sparkConf : SparkConf = new SparkConf()
                     .setAppName("EsReIndex")
sparkConf.set("es.nodes", "node1.cluster1:9200")

那么如何在同一个应用程序内部的Spark中使用弹性搜索-hasoop在两个Elasticsearch集群之间移动数据？

Answer 1

您无需在SparkConf中配置节点地址。

当您使用<body> <div class="preloader"></div> <div class="leftPreloaderBG"></div> <div class="rightPreloaderBG"></div> </body>格式的DataFrameWriter时，您可以将节点地址作为选项传递，如下所示：

elasticsearch

这应该适用于spark 1.6.X和相应的elasticsearch-hadoop连接器。

如何使用Spark中的elasticsearch-hadoop将数据从一个Elasticsearch集群重新索引到另一个集群

1 个答案: