Mongodb - 在展开期间具有聚合的16Mb限制

时间:2014-08-29 02:20:10

标签: c# mongodb aggregation-framework

我有一个我想要执行聚合的集合。几周前,一切都很完美,因为我添加了一些文档(使用相同的模式)。但是,当我尝试聚合我的集合时,我对引发的BSON文档异常有16Mb的限制。

最令人惊讶的是,我试图确定何时在聚合中达到限制,并且在第一步达到它,我只是展开部分文档。

我的问题是,在展开后,存储的文档(大小小于16Mb的文件)如何变得超过16Mb?请注意,当我尝试使用InsertBatch方法将结果游标插入另一个集合时,抛出异常。我也尝试在游标中枚举,但我有相同的异常,如果我尝试访问第一个文档也一样。

[编辑]:我使用的是MongoDB 2.6.1版本和C#驱动版本1.9.2

[编辑]:我使用的文件类似于

{
    "_id" : ObjectId("53ff90e8dcb48a09f090f291"),
    "Val1" : 10
    "Val2" : true,
    "Mesure" : {
        "_id" : ObjectId("53ff90e8dcb48a09f090f284"),
        "Calibration" : {
            "CalibrationDate" : ISODate("2014-08-28T16:29:59.335-04:00"),
            "Expected" : [ 
                {
                    "Bin" : 12,
                    "PositionCalibrated" : 0,
                    "PositionExpected" : 0,
                    "PositionMax" : 0,
                    "PositionMin" : 0,
                    "PositionStd" : 0,
                    "PositionTab" : [ 
                        0, 
                        0, 
                        0
                    ],
                    "PositionTolerance" : 1
                }, 
                {
                    "Bin" : 11,
                    "PositionCalibrated" : 406.113044449032,
                    "PositionExpected" : 401.1,
                    "PositionMax" : 406.113044449032,
                    "PositionMin" : 406.113044449032,
                    "PositionStd" : 5.684341886080802e-014,
                    "PositionTab" : [ 
                        406.113044449032, 
                        406.113044449032, 
                        406.113044449032
                    ],
                    "PositionTolerance" : 1
                }, 
                {
                    "Bin" : 7,
                    "PositionCalibrated" : 454.9231746931026,
                    "PositionExpected" : 431.1,
                    "PositionMax" : 454.9231746931027,
                    "PositionMin" : 454.9231746931027,
                    "PositionStd" : 5.684341886080802e-014,
                    "PositionTab" : [ 
                        454.9231746931027, 
                        454.9231746931027, 
                        454.9231746931027
                    ],
                    "PositionTolerance" : 1
                }
            ],
            "_id" : ObjectId("53ff9143dcb48a09f090f2ae")
        }
    },
    "PositionMeasured" : 407.23645821
}

我将聚合管道与C#驱动程序一起使用。我想做几个聚合步骤(展开,排序,分组,项目等......),但第一步是展开这些元素。使用的代码如下:

var UnwindCalib = new BsonDocument("$unwind", "$Mesure.Calibration.Expected");
var pipeline = new[] { UnwindCalib };
var args = new AggregateArgs();
args.Pipeline = pipeline;
args.AllowDiskUse = true;
var result = myCollection.Aggregate(args);
resultsCollection.InsertBatch(result); <----- I've got an error here.

展开后的目标是将校准中的预期项目与当前项目匹配。

1 个答案:

答案 0 :(得分:2)

我相信Mongo DB agggregate操作只有在向它传递cursor:{}参数时才会返回游标。 cursor 聚合选项已记录here.使用C#驱动程序处理聚合操作返回的游标将在this thread中讨论

此外,如果您在第一阶段的意图是将聚合结果存储到另一个集合,则应使用{$out:[collection_name]}作为聚合管道中的最后一个阶段。可以找到 $ out 运算符的mongodb文档here.此运算符可以绕过16MB文档大小限制,因为它是一个数据库内操作,并由Mongo DB进行相应处理。