Question

我们需要定期清除Azure WADLogs表。我们通过使用实体组事务来删除超过15天的记录来实现此目的。逻辑是这样的。

bool recordDoesNotExistExceptionOccured = false;
CloudTable wadLogsTable = tableClient.GetTableReference(WADLogsTableName);

partitionKey = "0" + DateTime.UtcNow.AddDays(noOfDays).Ticks;
TableQuery<WadLogsEntity> buildQuery = new TableQuery<WadLogsEntity>().Where(
                            TableQuery.GenerateFilterCondition("PartitionKey",                
                            QueryComparisons.LessThanOrEqual, partitionKey));

while (!recordDoesNotExistExceptionOccured)
{
    IEnumerable<WadLogsEntity> result = wadLogsTable.ExecuteQuery(buildQuery).Take(1000);

    //// Batch entity delete.
    if (result != null && result.Count() > 0)
    {
         Dictionary<string, TableBatchOperation> batches = new Dictionary<string, TableBatchOperation>();
         foreach (var entity in result)
         {
             TableOperation tableOperation = TableOperation.Delete(entity);

             if (!batches.ContainsKey(entity.PartitionKey))
             {
                 batches.Add(entity.PartitionKey, new TableBatchOperation());
             }

             // A Batch Operation allows a maximum 100 entities in the batch which must share the same PartitionKey.                        
             if (batches[entity.PartitionKey].Count < 100)
             {
                 batches[entity.PartitionKey].Add(tableOperation);
             }
        }

        // Execute batches.
        foreach (var batch in batches.Values)
        {
            try
            {
                await wadLogsTable.ExecuteBatchAsync(batch);
            }
            catch (Exception exception)
            {
                // Log exception here.

                // Set flag.
                if (exception.Message.Contains(ResourceDoesNotExist))
                {
                    recordDoesNotExistExceptionOccured = true;
                }
                break;
            }
        }
    }
    else
    {                            
        break;
    }
}

我的问题是：

这是清除WADLogs表的有效方法吗？如果没有，有什么能让这更好？
这是处理“指定资源不存在异常”的正确方法吗？如果没有，我怎样才能做得更好？
这种逻辑会在任何特定情况下失败吗？
如果此代码位于已部署多个实例的worker中，此方法将如何更改？

我通过引用给定here的解决方案来提出此代码。

Answer 1

如果您不能删除整个表格，则批量通常是清除表格的一部分的最佳方式。但是，上面的代码中有一些问题，我将在下面概述。
我不确定你为什么会在查询中返回的表实体收到此错误，除非您在其他线程上删除此表中的内容。但是，根据您提供的方案，当您收到错误时不会停止整个过程。假设您有1000个要删除的结果。第二个已被另一个线程删除并在您尝试再次删除时返回错误 - 现在您缺少删除所有其他实体，包括该批次中的其他实体，因为批次是原子的！要修复此方案，我建议从批处理中删除失败的实体（错误消息将包括其索引），重试该批处理，然后继续删除其余批处理。
请参阅2.此外，如果您有超过100个具有相同分区键的实体，则不会立即删除其余部分，而是忽略它们并在下一循环迭代中删除它们。如果有许多条目具有相同的分区键，这可能会导致大量额外查询，因此将它们添加到新批次可能更有效。
一旦你有更多工作人员上班，因为你总是查询前1000个，因此当前设计中的问题会变得更糟。现在你将有多个线程下载相同的结果并尝试删除相同的结果的东西。使用当前设计，这将导致很多错误，因为工作人员将删除相同的结果。我看到的最简单的解决方案是找到一种更好的方法来划分不会导致重叠的工作。一个想法可能是让每个工作人员花一个不同的时间来删除，这也有额外的好处，即优化必须发送的批次数。当然，还有许多其他有效的策略。

如何处理＆＃34;指定的资源不存在＆＃34;使用实体组事务清除WADLogs表时出现异常

1 个答案: