使用Mongodb Hadoop连接器进行分片

Question

我的问题与此问题Hadoop HDFS MapReduce output into MongoDb

中提到的案例相同

我只想使用Hadoop从Mongodb执行Map Reduce（MR），然后将输出作为集合写回MongoDB。虽然上面的问题还没有解决，但我对这个场景有更多的疑问。在这里，我需要将MR的输出写入MongoDB分片并正确分片。

我的问题是，是否有可能做这样的场景，因为即使我使用MongoDB（而不是Hadoop）做了MR，我得到的输出没有正确分割成分片服务器并且在结果上得到了重复的输出。如果可能的话怎么做？提前谢谢。

Answer 1

是。你像往常一样写信给mongo。您的mongo db设置为在分片上运行的事实是一个隐藏的细节。