我有一个Spark作业(PySpark)向mongo运行查询。我打算将查询发送到辅助。
我有一个类似下面的mongo输入
'mongo.input.uri': 'mongodb://'+host+':27017/'+dbName+'.'+collection+'?readPreference=secondary'
根据我的理解,将readPreference = secondary作为选项传递给mongo输入uri是从中学读取它的方法(参考:https://github.com/mongodb/mongo-hadoop/wiki/Configuration-Reference)
然而,当我运行这个工作时,我看到主节点监控的mongo故障出现峰值。当我检查主节点上的日志时,确认查询是针对主节点而不是辅助节点运行的。
我做错了什么?我错误地放置了配置吗?它只适用于普通副本集,而不适用于分片吗?
注意: Mongodb设置使用版本2.6.X
进行分片