使用Spark Connector和Append模式

时间:2017-07-12 22:06:36

标签: mongodb scala apache-spark connector

我是MongoDB Spark Connector的新手,据我所知,有两种方法可以写入数据库LINK,其中一种方法是:

MongoSpark.save(documents)

可以扩展到

MongoSpark.save(df.write.option("collection", "myCollection").mode("append"))

以及使用“使用RDDs帮助器”方法的另一种方法,如下所示:

documents.saveToMongoDB(WriteConfig(Map("uri" -> "mongodb://example.com/database.collection")))

我想知道是否可以在RDDs辅助方法(第二种方式)中指定“mode(”append“)”,如果是,如何?

谢谢

1 个答案:

答案 0 :(得分:0)

也许你已经解决了这个问题。无论如何,你应该使用WriteConfig和dataframewriter来通知Mongo你想要将文档追加到集合中。

您可以通过对dataframewriter和writeconfig使用重载的save方法来执行此操作:

MongoSpark.save(df.write.mode("append"), WriteConfig(Map("uri" -> "mongodb://[uri-string]")))