elasticsearch-hadoop如何根据不同的ES集群创建两个RDD

Question

我需要从两个不同的ES集群加入两个Rdd，但我发现我可以基于一个ES集群创建一个SparkConf和SparkContext。例如，代码如下：

var sparkConf: SparkConf = new SparkConf()
sparkConf.set("es.nodes", "192.168.0.22:9200")
val rdd1=sc.esRDD("userIndex1/type1")

那么如何从不同的ES集群创建两个RDD呢？

Answer 1

cfg有一个esRDD参数。您可以使用val rdd1=sc.esRDD("userIndex1/type1", Map("es.nodes" -> "192.168.0.22:9200")来设置配置。