有没有办法在SparkConf中指定多个MongoDB主机? doc(https://docs.mongodb.com/spark-connector/v1.1/configuration/)中的示例似乎表明没有。
spark.mongodb.output.uri=mongodb://127.0.0.1/
spark.mongodb.output.database=test
spark.mongodb.output.collection=myCollection
答案 0 :(得分:3)
spark.mongodb.input.uri
和spark.mongodb.output.uri
接受MongoDB Connection URI format。
连接URI格式应该适用于所有MongoDB支持的驱动程序,包括Spark的MongoDB Scala驱动程序。例如,要连接到副本集,您可以指定:
mongodb://db1.example.net,db2.example.net:2500/?replicaSet=myReplica