配置具有多个主机的mongodb spark连接器

时间:2017-01-05 10:38:39

标签: mongodb apache-spark configuration connector

有没有办法在SparkConf中指定多个MongoDB主机? doc(https://docs.mongodb.com/spark-connector/v1.1/configuration/)中的示例似乎表明没有。

spark.mongodb.output.uri=mongodb://127.0.0.1/
spark.mongodb.output.database=test
spark.mongodb.output.collection=myCollection

1 个答案:

答案 0 :(得分:3)

spark.mongodb.input.urispark.mongodb.output.uri接受MongoDB Connection URI format

连接URI格式应该适用于所有MongoDB支持的驱动程序,包括Spark的MongoDB Scala驱动程序。例如,要连接到副本集,您可以指定:

mongodb://db1.example.net,db2.example.net:2500/?replicaSet=myReplica