如何从databricks python笔记本更改mongo-spark连接配置

Question

我使用来自python中的databricks笔记本的mongo-spark connector从spark连接到mongodb。

现在我正在环境变量中配置mongodb uri，但它不灵活，因为我想在笔记本中更改连接参数。

我在connector documentation中读到可以覆盖SparkConf中设置的任何值。

如何覆盖python中的值？

Answer 1

您不需要事先在SparkConf中设置任何内容*。 您可以将任何configuration options传递给DataFrame Reader或Writer，例如：

df = sqlContext.read \ 
    .option("uri", "mongodb://example.com/db.coll) \    
    .format("com.mongodb.spark.sql.DefaultSource") \
    .load()

*这是在0.2

中添加的