Question

我目前正在编写Pyspark_2.2.1独立应用程序，MongoDB_2.6作为数据库，mongo-spark连接器版本为2.2.1。在使用spark-submit运行spark应用程序时，我得到以下错误：

: java.lang.ClassNotFoundException: spark.mongodb.input.partitionerOptions.MongoPaginateBySizePartitioner

我在从MongoDB数据库中读取数据时试图提及。这就是我的阅读方式：

users = spark.read.format("com.mongodb.spark.sql.DefaultSource") \
        .option("uri" , "mongodb://127.0.0.1/xyz.abc") \
        .option("partitioner", "spark.mongodb.input.partitionerOptions.MongoPaginateBySizePartitioner ") \
        .load()

我已按照以下链接指定分区程序：
https://docs.mongodb.com/spark-connector/master/configuration/。
这里甚至DefaultPartitioner都不起作用。我得到了同样的错误任何帮助，将不胜感激。感谢

Answer 1

在指定.option（＆＃34;键＆＃34;，＆＃34;值＆＃34;）时似乎有问题。我在实例化SparkSession时提到过这个：

<div id="errmsg" class="modal-body" style="display: none;">

似乎MongoDefaultPartitioner用户$ sample聚合来自Mongo3.2

无法在spark-mongo连接器中指定分区器（未找到类异常）

1 个答案: