Java Spark:com.mongodb.spark.config.writeconfig问题

时间:2017-12-27 05:38:30

标签: java mongodb apache-spark spark-streaming

我正在尝试通过java spark连接器与MongoDB连接,当我提交jar并在spark shell中运行jar时,我收到错误“com.mongodb.spark.config.writeconfig”。这里的错误截图: enter image description here

你能帮我解决这个问题吗?我也试过这个,但没有成功。

  • $。/ bin / sparkR --conf“spark.mongodb.input.uri = mongodb://127.0.0.1/test.myCollection?readPreference = primaryPreferred”./ bin/sparkR --conf“spark .mongodb.output.uri = mongodb://127.0.0.1/db.test“./bin/spark-shell --packages org.mongodb.spark:mongo-spark-connector_2.11:2.2.0

  • $ spark-submit --master local --class com.test.spark.SparkClient /home/otalogin/SparkClient.jar

  • $ spark-submit --master local --class com.test.spark.SparkClient /home/otalogin/SparkClient.jar --jar mongo-spark-connector_2.11:2.2.0

但得到同样的错误。

请帮我解决这个问题。

1 个答案:

答案 0 :(得分:0)

正如Darshan M所建议的那样,您需要提供mongo依赖项。

最简单的方法是使用maven / sbt构建一个胖罐。

如果您使用maven,请配置您的pom.xml,this可以帮助您。如果你使用sbt,that可以帮助你。