Question

我有一个groovy脚本，它使用Mongo Java Driver mongo-java-driver-2.8.0.jar访问单个集合中的所有记录，更新任何与预期结构不匹配的记录。这个脚本的作用就像一个冠军，但我为什么处理更多的记录而不是实际拥有的记录。或者，更准确地说，dbCursore.hasNext（）迭代的记录多于集合实际拥有的记录。仅当脚本找到要更新的内容时才会出现这种情况。如果脚本在没有更新的情况下执行，则处理的总数是正确的。

hasNext（）是否“重新开始”或者如果记录已经更新，记录是否会在迭代中移动？

这是代码......

static def doIt( mongo, normalizer, isDryRun ) {
    def ttlProcessed = 0
    def ttlCandidates = 0
    def ttlUpdated = 0
    def lapCount = 0;
    def lapStartTime = System.currentTimeMillis();

    def db = mongo.getDB( "devices" )
    DBCollection dbCollection = db.getCollection( "profiles" )
    DBCursor dbCursor = dbCollection.find();
    while ( dbCursor.hasNext() ) {
        DBObject source = dbCursor.next();
        DBObject normalized = normalizer.normalize( source )
        // Only update if changed...
        if ( ! ( source.equals( normalized ) ) ) {
            ttlCandidates++
            if ( !isDryRun ) {
                BasicDBObject searchQuery = new BasicDBObject( "_id", normalized.get( "_id" ) )
                WriteResult result = dbCollection.update( searchQuery, normalized, false, false, WriteConcern.SAFE );
                ttlUpdated++
            }
        }
        ttlProcessed++;
        if ( ttlProcessed % 10000 == 0 ) {
            printErr "split: ${lapCount}, splitElapsed: ${calcElapsed( lapStartTime) } ms, elapsed: ${calcElapsed( startTime )} ms, processed: ${ttlProcessed}, candidates: ${ttlCandidates}, updated: ${ttlUpdated}"
            lapCount++
            lapStartTime = System.currentTimeMillis()
        }
    }
    printErr "split: ${lapCount}, splitElapsed: ${calcElapsed( lapStartTime) } ms, elapsed: ${calcElapsed( startTime )} ms, processed: ${ttlProcessed}, candidates: ${ttlCandidates}, updated: ${ttlUpdated}"
}

如果运行更新任何记录，ttlProcessed如何获得的值高于正在处理的集合的数量？

Answer 1

这可能是因为更新导致文档移动（通常是因为增长）。如果文档确实增长并再次处理，它将被视为迭代，但假设您的更新是幂等的（我还没有测试过），那么它就不会成为问题。

如果您担心，可以使用$snapshot option来解决此问题。我还建议你阅读：

http://www.mongodb.org/display/DOCS/How+to+do+Snapshotted+Queries+in+the+Mongo+Database

这些问题本质上是为什么像mongodump和mongoexport这样的工具会走_id索引（即默认使用$snapshot）。

如果您想首先考虑阻止移动，请在填充因子页面上查看此部分：

http://www.mongodb.org/display/DOCS/Padding+Factor#PaddingFactor-ManualPadding

在运行compact命令时，2.2中还有一些选项用于设置填充：

http://docs.mongodb.org/manual/release-notes/2.2/#padding-specifiable-on-compact-command

DBCursor hasNext（）处理的记录多于DBCollection实际拥有的记录......为什么？

1 个答案: