如何使用mongo-hadoop连接器从经过身份验证的mongodb中读取Spark应用程序?

时间:2016-05-11 10:45:53

标签: mongodb hadoop apache-spark

我需要从Spark应用程序中使用密码读取mongodb。我使用newAPIHadoopRDD()和mongo-hadoop连接器。它与“setMaster('local')”工作正常,但是当我将spark应用程序设置为在“yarn cluster”上运行时,应用程序挂起而没有任何错误消息。

我使用的是mongo-hadoop-core 1.5.2。有人遇到过同样的问题吗?非常感谢!

1 个答案:

答案 0 :(得分:0)

mongodbConfig.set(“mongo.auth.uri”,“mongodb:// username:password@192.168.1.1:27017 / testdb”), 你也可以参考com.mongodb.hadoop.util.MongoConfigUtil