如何使用Data Factory截断Dynamics 365实体（并将其复制到Azure数据湖）？

Question

我当前正在使用数据工厂将实体从Dynamics 365批量复制到Azure数据湖。每24小时将实体另存为CSV文件到Data Lake中。

除了批量复制外，我想将实体截断为新数据，并将其追加到数据湖中已经存在的文件中。

我认为这是SQL数据库的常见操作，但是可以在Dynamics 365和Data Lake之间完成吗？

Answer 1

您可以在查询中添加过滤器，以获取最近24小时内已被修改的记录。

此外，您可以设置Dynamics以将其数据复制到外部SQL数据库。

Replicate data to Azure SQL Database

Answer 2

Azure Data Lake存储Gen2作为源类型仅支持三种复制行为。

我尝试了三种应对行为，它们都无法帮助您将其追加到数据湖中已经存在的文件中。如果选择现有文件，则复制活动完成后，现有文件将被覆盖。

有关更多详细信息，您可以参考：Azure Data Lake storage Gen2 as a source type。

在Dynamics 365和带有Azure Data Factory的Data Lake之间无法完成。

感谢James Wood为我们提供了一个很好的解决方案。结合我的回答和他的意见，问题将得到解决。

希望这会有所帮助。