Question

我有LINQ查询，如下所示

HashSet<Guid> temp1 ; // Getting this value through another method

var Ids = temp1.Except((from temp2 in prodContext.Documents 
                        where temp1.Contains(temp2.id) 
                        select temp2.id)).ToList();

此处，temp1的值大约为40k。我有时会遇到超时错误，如何使用while或任何其他循环来划分此查询，以便它不会给我超时错误。我尝试在连接字符串和数据库上下文中设置连接超时，但没有任何作用。

请提出任何建议

Answer 1

这是可能是一个查询的异常操作之一，可以由应用程序而不是数据库在内存中更有效地执行。不要试图将您在集合中拥有的所有ID值发送到数据库，让它找到包含这些ID的所有项目，然后将它们全部发送回给您，这样才能获得更好的信息。所有文档ID并在应用程序方面过滤它们。

var documentIds = prodContext.Documents.Select(doc => doc.id);
var Ids = temp1.Except(documentIds).ToList();

现在，根据您拥有的文档数量，即使理论上可能会超时。如果愿意，那么您需要对所有文档ID的获取进行分页。您可以使用以下方法对任何查询进行分页，以避免一次性获取整个结果集：

public static IEnumerable<IEnumerable<T>> Paginate<T>(
    this IQueryable<T> query,
    int pageSize)
{
    int page = 0;
    while (true)
    {
        var nextPage = query.Skip(page * pageSize)
            .Take(pageSize)
            .ToList();
        if (nextPage.Any())
            yield return nextPage;
        else
            yield break;
        page++;
    }
}

这允许你写：

var documentIds = prodContext.Documents.Select(doc => doc.id)
    //play around with different batch sizes to see what works best
    .Paginate(someBatchSize)
    .SelectMany(x => x);
temp1.ExceptWith(documentIds);

Answer 2

这是一种将分页和缓存结合起来的方法。

这样它一次只缓存一个页面大小，以防止内存过载并防止超时。我希望这有效。

int pageSize = 1000;

HashSet<Guid> temp1;

List<Guid> idsFromTable = new List<Guid>();

var Ids = temp1.ToList();
for(int i = 0; true; i++)
{
    //Cache the table locally to prevent logic running while selecting on page size
    idsFromTable.AddRange(prodContext.Documents.Skip(pageSize * i).Take(pageSize).Select(x=> x.id));

    if(idsFromTable.Any())
    {
        //Then use the cached list instead of the datacontext
        Ids = Ids.Except(idsFromTable).ToList();
        idsFromTable.Clear(); 
    }
    else
        break;
}

Answer 3

与Servy的答案类似，你可能想尝试对查询进行分页，而不是将它们全部拉进去。这样做的效率取决于你使用的数据库，我当然在Informix上有一些里程数。。在这种情况下，逻辑看起来像这样

HashSet<Guid> ids... //Got from another method
List<Guid> validIds = new List<Guid>();

const Int32 BUFFERSIZE = 1000;
var validationBuffer = new List<Guid>(BUFFERSIZE);

foreach(var g in ids)
{
    validationBuffer.Add(g)
    if(validationBuffer.Count == BUFFERSIZE)
    {
         validIds.AddRange(
             prodContext.Documents
                 .Select(t => t.id)
                 .Where(g => validationBuffer.Contains(g)));
         validationBuffer.Clear();
    }
}

//Do last query
validIds.AddRange(
    prodContext.Documents
        .Select(t => t.id)
        .Where(g => validationBuffer.Contains(g)));

var missingIds = ids.Except(validIds);

如何在小组中划分LINQ查询以避免Timeout过期异常？

3 个答案: