Hadoop MongoInputFormat读取首选项对Mongodb Shard不起作用

时间:2016-01-29 02:03:00

标签: mongodb apache-spark pyspark

我有一个Spark作业(PySpark)向mongo运行查询。我打算将查询发送到辅助。

我有一个类似下面的mongo输入

'mongo.input.uri': 'mongodb://'+host+':27017/'+dbName+'.'+collection+'?readPreference=secondary'

根据我的理解,将readPreference = secondary作为选项传递给mongo输入uri是从中学读取它的方法(参考:https://github.com/mongodb/mongo-hadoop/wiki/Configuration-Reference

然而,当我运行这个工作时,我看到主节点监控的mongo故障出现峰值。当我检查主节点上的日志时,确认查询是针对主节点而不是辅助节点运行的。

我做错了什么?我错误地放置了配置吗?它只适用于普通副本集,而不适用于分片吗?

注意: Mongodb设置使用版本2.6.X

进行分片

0 个答案:

没有答案