如何跳过批量插入中的重复文档,并忽略具有特定字段C#的重复文档

时间:2018-08-28 10:14:27

标签: mongodb mongodb-query mongodb-.net-driver mongodb-csharp-2.0

我需要插入许多文档,而忽略重复的文档。

文档格式:

_id:5b84e2588aceda018a974450
Name:"Jeff M"
Email:"jeff.m@xtrastaff.com"
Type:"Client"
UserId:Binary('Rw+KMGpSAECQ3gwCtfoKUg==')
UserImage:null

我想在插入时使用 EmailId 字段检查重复项。仅在不存在时插入。

1 个答案:

答案 0 :(得分:1)

要防止插入重复项,您需要一个unique index,该代码可以用C#代码创建:

public void CreateIndex()
{
    var options = new CreateIndexOptions() { Unique = true };
    var field = new StringFieldDefinition<Model>(nameof(Model.Email));
    var indexDefinition = new IndexKeysDefinitionBuilder<Model>().Ascending(field);
    Collection.Indexes.CreateOne(indexDefinition, options);
}

然后,您可以使用BulkWrite操作插入多个文档。问题在于,默认情况下,当第一个插入操作失败(在您尝试插入重复项时发生)时,处理将停止,并且您将在C#中获得异常。您可以通过将ordered参数设置为false来进行修改,这意味着所有插入将被“并行”处理,并且您将获得一个异常,该异常会聚集所有失败的插入。该异常的类型为MongoBulkWriteException,您可以尝试捕获它。因此,您可以尝试以下方法:

public void InsertData(List<Model> data)
{
    var writeOps = data.Select(x => new InsertOneModel<Model>(x));
    try
    {
        Collection.BulkWrite(writeOps, new BulkWriteOptions() { IsOrdered = false });
    }
    catch (MongoBulkWriteException ex)
    {
        // will be thrown when there were any duplicates
    }
}