Azure数据迁移工具的插入或跳过选项？

Question

我目前正在使用Azure数据迁移工具从表存储迁移到Cosmos，并且我正在寻找一种方法来识别记录是否存在，以避免重复的处理费用-我的期望是跳过现有记录将节省时间。我更喜欢使用该工具而不是AzCopy，因为据我所知，这是一个更加简化的过程。但是，在查看了here的文档后，我还没有想到用它对现有记录进行识别的方法。我正在寻找AzCopy中可用的"InsertOrSkip"标志。有谁知道数据迁移工具中是否有一个等效项，也许在指南中没有明确指出？谢谢大家。

Answer 1

spb。根据我对Azure数据迁移工具github source code的研究，其中没有这种Insert or skip机制。

但是，也许我可以为您提供两种解决方法。

第一个，您可以使用Azure Data Factory服务来实现数据传输。将table storage作为源并将cosmos db表api设置为接收器。您可以在其中编写查询sql azureTableSourceQuery属性可过滤重复数据。

第二个，您可以使用Azure Function CosmosDB Trigger。数据的任何增量都将触发该方法来检查数据库中是否已存在数据。如果是这样，则删除。

希望它对您有帮助。